尽管存在质疑，许多公司仍然在通过传统的市场调查来获取洞察，而一些技术公司则声称能从庞大的原始信息中获取比传统市场研究更好的洞察。Rick Kieser指出，两者必须被整合在一起，否则市场研究将会被边缘化。 Rick Kieser进一步说明要如何将非结构化文本处理的最新进展纳入到市场研究人员的能力范围内。

驾驭新的数据流

由于数字通信带来越来越多的选择，现在, 客户有无数的方式来分享他们对企业的反馈，包括正面和负面的信息。许多以客户为导向的企业现在都拥有客户体验管理(customer experience management，CEM)或客户之声(voice-of-the-customer,VOC)平台来管理海量的信息流。

与此同时，尽管存在质疑，许多公司继续通过传统的市场调查来获取洞察。而一些在数字通讯领域有优势的供应商，则声称能从庞大的原始信息中获取比传统市场研究更好的洞察。

这些不同的领域很少被整合在一起，而市场研究人员也很少使用运营平台上的客户反馈作为洞察产生的主要数据源。在这篇文章中，我会阐释，为什么整合的方法是必须的。如果不这样做，就像我们所担心的那样，市场研究将会被边缘化。我还会进一步说明，如何将非结构化文本处理的最新进展纳入市场研究人员的能力范围内。

客户体验管理(CEM)和客户之声(VOC)

对消费者来说，客户体验正日益成为唯一有意义的差异化因素。今天，企业对产品设计和质量控制极为重视，这意味着在绝大多数品类上，不同品牌在质量和效用上几乎没有差异。线上市场的速度和透明度，使得消费者在价格、使用体验和声誉等方面的决策上，更多依赖他人的体验，即使线下发生的购买行为也是如此。

我们能否更重视品牌信誉的价值?根据一项调查，由于客户体验不佳，每年有超过830亿美元的商业损失1。在这个充满活力和瞬息万变的环境中，营销人员必须不断重新审视如何了解和吸引客户，重新确定渠道优先级，并在所有渠道中保持一致的客户体验，同时优化营销支出。

每项举措都必须依赖可靠的数据产生高质量的洞察，从而驱动决策。过去，市场研究往往是收集和处理相关信息的唯一可行手段，如今，客户体验的每个不同方面通常都有充足的数据，并且能够很容易地整合在一起。现在，市场研究数据反而与业务有些脱节。

客户体验管理(CEM)和客户之声(VOC)2行业大约诞生于20年前，两者最初并不相同，但现在两个术语基本上是同义的。两者都专注于在客户的整个生命周期中，通过自动化的流程，追踪、监控和管理客户与企业之间的每个交互。

而企业反馈管理系统(enterprise feedback management，EFM)是研究技术提供商创造的一个术语，用来描述基于调查的反馈征集。 EFM交互通常由客户接触点触发，这使得它成为许多VOC解决方案的便捷数据源。但是，一些VOC计划并不依赖于调查，而是通过其他方式获得数据。

2012年至2017年，客户体验管理(CEM)行业每年增长近20%，市场规模预计增长近三倍，超过68亿美元( Figure 1)。可以对比一下，市场研究行业在2012年的全球收入为390亿美元，排除通货膨胀因素后的增长率只有0.7%4。

我发现，CEM行业增长背后有三个主要驱动因素：

1、企业越来越以客户为中心。企业意识到，越是能满足客户的期望，越有可能成功。

2、企业已经认识到，获得新客户比保留现有客户成本更高(一项研究说， 获得新客户的成本最高多达五倍以上5)。

3、目前，技术能够方便地跟踪广泛的客户触点上的客户交互，并形成洞察。

这些趋势导致客户反馈如海啸般迸发。如果公司打算利用这些客户反馈，必须将其转化为洞察。对每个行业来说，它是新的原材料，如果以正确的方式加以处理和应用，数据会产生巨大的价值。但是，如果不努力从中获取洞察，数据就只是简单的累积，不会对公司的发展有任何帮助。

市场研究面临的挑战和新来者的困境

在市场研究和企业反馈管理系统(EFM)中，客户反馈的传统范式依赖于以调查为基础的介入，这种介入是企业指导和管理的。最初，随着在线调查和社区(MROCs)的出现，数字通信的兴起只是增加了获取客户反馈的渠道。但是现在，随着社交媒体的兴起，消费者在各种渠道上变得越来越健谈，而这些渠道是市场营销人员无法控制的。例如， 即使没有要求，客户也会通过Facebook、Twitter、TripAdvisor等评论网站和个人博客，和外界分享他们的各种体验。

这种大量的自发反馈，挑战了传统市场研究的方法。在传统市场研究中，样本是受控制的，问题也是精心构造的。这就形成了一个以高级分析技术为基础的新的竞争环境——分析大量的非结构化的数值和文本数据。在新的竞争环境下，新来者扮演着数据提供商和知识管理公司的角色，其方法和传统研究公司截然不同。

由于处理海量数据以及高度的非结构化特性是大数据最大挑战之一，因此，在形成洞察上，新来者想逆转却是很困难的。虽然技术能够管理巨大的数据流，但大量的内容都是和数值数据连在一起的原始文本，因此，我们必须使用一些工具，这些工具要能够同时理解主观变量和客观变量，也就是文本和“硬数据”。

不同文本洞察技术的优劣势

和CEM软件一样，文本分析软件也达到了很成熟的程度。文本分析软件主要基于一种被称为自然语言处理(NLP)的底层技术。由于这种方法在商业软件中占据主导地位，从而掩盖了另外两种互补的文本处理方法。其实这两种方法也很有价值，在某些情况下，它们更适合处理大量的反馈数据。

自然语言处理(NLP)

NLP或文本分析背后的技术，是使用词汇、字典以及相应的一系列确定性规则，将相似内容的回答集合在一起，以识别特定主题或识别情绪，如正面或负面情绪。当用作询问或审讯工具时，NLP特别适用于发现其在大数据集中的意义或情绪。在开发分析框架(一种称为文本挖掘的方法)时同样适用。

为了达到可接受的精确度水平，需要受过很好训练的人力投入来诠释内容，并通过编写附加规则来改进主题和情绪提取。这种优化过程费时费力，而且常常被人们省略掉。

机器学习(Machine learning)

NLP的一个可行的替代方案是机器学习，这是一种人工智能方法，它从手动编码的学习样本(training examples)中自动学习如何对文本进行分类和解释。随着越来越多的学习样本被提供，总体的准确性在不断提高。

机器学习特别适用于大规模的重复性工作，可以自动运行，一旦接受训练，只需极少干预。因为需要一个训练集(每个主题或类别通常需要20个样本)，初始投入更适合大规模或连续性项目;然而，一旦运行，与NLP不同，它不需要持续投入昂贵的人工诠释或技术。与NLP相比，机器学习是一种较低成本的自动化解决方案。

半自动或计算机辅助编码(Semi-automated or computer-assisted coding)

自动辅助的方法可以智能化地进行工作，它是在一个整体的组织结构中，通过使用强力搜索、模糊匹配来对客户评论进行分类，并优化人工决策。可以说，这种方法会产生最准确的结果，但是它不能很好地扩展。投入会随着工作量的增加而线性增加，管理负担也呈指数级增长。这种方法与其他方法相比，除了较低的容量外，成本也很高。

如果一家公司正在从单一来源分析相同类型的客户反馈，一种技术可能就够了。然而，在当今多样化和数据丰富的环境中，这种情况很少。在处理多个渠道的反馈(包括企业发出的和自发的)时，最大的挑战在于其特征的多样性。可以拿自行车作类比：如果要骑行的道路平坦而笔直，一辆单速自行车就可以了。然而，如果是复杂多变的地形，变速自行车将使旅程更轻松，更快捷，更有效率。

例如，与Facebook更新相比，转录电话会显示出非常不同的语言使用，客户调查中的评论与酒店评论网站上发表的评论也大不相同。由于模糊的内容和嵌入的交叉引用，Twitter上的评论又完全不同了。每种类型的语言需要不同的解决方案。根据我的经验，即使大公司也难以找到有效的解决方案，因为存在普遍的错误认识：单一技术(通常被认为是NLP)可以适用于所有情况。

分析不同渠道的客户反馈，面临不同的挑战

为优化客户洞察，在实施任何有效的VOC或CEM方案时，都需要平衡五个方面的因素，即：

方案的目标

反馈渠道类型

部署的洞察技术

成本约束

客户反馈的数量级

详细阐述这些考虑因素超出了本文的范围，我会把重点放在主要的考虑因素上。需要结合各种技术来让各种渠道的反馈更易于管理。要理解这一点，你必须了解你的反馈渠道以及你的文本洞察技术，然后将这些渠道与最合适的技术相匹配。

任何企业都有可能拥有广泛的反馈渠道。每一个都具有非常不同的特征，从分析的视角看，各具挑战。

社交媒体评论的数量非常之多，但很难解释，因为它们往往是特定情景下很隐晦的表述，充斥着难懂的术语，甚至很多具有反讽含义。尽管如此，社交媒体依然是洞察的重要来源，有助于公司快速响应事件和新情况，应对危机和各种趋势。

而调查数据则容易解释得多，因为问题是预先确定的，答案更加聚焦。获取调查数据的高成本通常意味着数据量不大，因此，在收集的数据中不会存在薄弱或突发趋势。

呼叫中心的记录可以提供大量的反馈，而且相对容易理解，但它们是中介信息，并且可能由呼叫中心坐席员总结过。相比之下，呼叫中心的音频可能比较难理解，通常需要先进行文字转录，以便容易使用。

市场调研在线社区的数据通常都是基于文本的，但数量相对较少。从表面上看，格式很像社交媒体的格式，但它容易解释得多，因为内容是被访者仔细考虑过的，通常聚焦于特定情境。

在许多方面，入站电子邮件，就其形式和结构而言，处于这些信息渠道的中心位置。客服电子邮件可以是高度结构化的，有一系列的问题和答案，与一项调查没有什么不同。

在寻找适用于每个渠道的合适工具和方法时，必须理解特定企业中可用的反馈渠道的特征。两个最有价值的变量是数据量(volume of data)和阐释渠道信息的难度(difficulty of interpreting the channel)。对其进行分析，能看出在规模上，要完成的工作存在很大的差异。图2概括了这一结果。

将技术与反馈类型相匹配

最后一步是将最佳技术与反馈类型相匹配。图3显示了在综合考虑两个相同的变量——数据量和解释难度的情况下，在成本效益方面，三种不同技术方案的的最佳范围。

NLP可以处理大量的数据，但由于它是一种挖掘工具，而不是一种解释工具，它更擅长提供快速的方向性洞察。 NLP不太适合对特定内容进行细致的分析，当存在多种反馈渠道时，效果就比较差，数据也很难解释。

在处理大量文本时，机器学习的效果最佳，增加工作量的边际成本可以忽略不计。因为它是通过特定背景的样本来训练的，一旦它有了一套有效的学习样本，它就有能力解释难以识别的概念或情绪。

当应用到一个新的反馈渠道上，这两个自动化的方法都需要付出很多投入，无论是调整NLP的规则或字典，还是机器学习的训练和验证。

半自动化方法非常适合内容难以解释的渠道，因为需要人脑参与确定内容的意义。另外，不像自动化方法那样，半自动化方法门槛不高，因此数据量不大时成本低廉。对于数据量大的渠道，半自动化的方法需要平衡其成本和收益。

如果你只使用一个单一的渠道，就有可能找到一个最优的解决方案。然而，有三到四个不同的渠道，你肯定不能靠一辆单速自行车来面对各种复杂地形(回到我之前的比喻)。这不是自动文本处理的固有缺陷，相反，谨慎的组合方法实际上构建了更强大、性价比更高的解决方案，每一项技术都发挥了最佳特点。

这意味着，你不仅可以优化时间和质量，而且，通过将人为干预集中在几个能发挥最大价值的小领域，你还可以降低成本。例如，将目标聚焦在质量控制上，或者让分析师解释自动文本挖掘报告。

开启未来的洞察

由于客户洞察实施和客户反馈渠道目前是不一致的，而且经常脱节，在这个背景下，企业如果充分评估他们的内部需求，并且不满足于次优的技术解决方案，就可以开始着手构建高效的技术解决方案来整合各种反馈。目前的技术已经可以让不同的反馈渠道信息(主动征集的和自发的)转化为及时的、可行动的洞察。当然，这需要一些投资，但结果可能是非常有价值的，在一个财政周期内，可以预期会有一个很好的回报。

据哈佛商学院报道，客户保留率提高5个百分点，企业利润会提高25%到95%6。而我在这里讨论的技术上的投资可能只是收入的百分之一。

好消息是，最好的还未到来，技术在不断进步。企业现在可以选择各种有效的工具，组合使用来管理他们的客户反馈流。市场研究人员拥有更丰富的数据资源可用，来补充调查数据(survey data)和传统的硬的大数据反馈(hard number big data feed，指销量等传统的交易数据)。我相信，若干年后如果我们回顾今天，会惊讶：我们只是开启了待发掘的潜在洞察中很小的一部分。