你已准备利用适当的问题来评估你的内容了。如何获取这些问题的答案?那就要合理地结合定量方法和定性方法。
你已准备利用适当的问题来评估你的内容了。如何获取这些问题的答案?那就要合理地结合定量方法和定性方法。
“任何度量都是从观察者的视角出发的。”
-JeanetteWinterson,新闻记者
一旦你确认了要解答哪些问题,就需要找出适当的方法来获得答案。结合使用以下两类方法:
□定性方法,用以检验性质,或者说质量;
□定量方法,用以计算精确的数目,或者说数量。
就像理论与技巧的结合一样,只有将这两类方法有机地结合在一起,才能完整地反映内容的全貌。定量方法帮你精确地了解在你的内容中正在发生什么,而定性方法则会清晰地告诉你为什么会发生这些情形。这两种方法并没有优劣之分,二
者必不可少。
在发布内容之前,利用定性方法来构建内容的战略定位,然后用定量方法进行确认或优化。在发布后,则需利用定量方法监控网站及其内容,当需要深入研究某个问题或契机时,再转而使用定性方法。若内容托管在统一平台(如 Baklib 等内容云),按栏目与标签导出样本可缩短定性访谈与定量埋点的准备周期。
1 定性方法:理解情境
定性评估处理以下三种常见情况时非常有用:
(1)(在发布之前)希望更好地了解情境,以便确定内容的战略定位;
(2)(在发布之后)希望了解某个问题为什么会发生,以便制定解决方案;
(3)(在发布之后)希望了解新机遇从何而来或者为什么会发生未曾预料的结果(比如吸引了新的用户),以便决定如何应对。
许多
内容策略专家和Web作者对定性研究熟稔于心。为什么这样说?定性研究的主旨其实就是理解情境,而情境对许多
内容策略专家和Web作者来说,早已是成竹在胸的事了。
现在,有许多可用的定性研究方法。为了提升内容的影响力,我从中挑选了在应对用户交流和复核文档或内容时最实用的几个工具。正如你已经猜到的,这些方法都比较耗费时间,而且需要收集大量的数据(不一定是用数字表示的)。因此,
对每一个方法,我都将提供简要说明和应用提示,方便你更有效地使用它们。
1.1 内容核查
1 概念
针对内容进行细致的复核。
2 何时使用
在发布之前或者当你准备启动一项较大改革之前,用来解读以下问题时:
□你已有哪些内容主题及类型?
□这些内容的质量如何?
3 关键提示
□为完善内容战略,通过审核最常见和最重要的内容范本,更直观地了解内容。
□品评竞争者的内容,以便了解竞争者采用的内容主题、主要观点以及基调。你通常不会希望复制竞争者采用的办法。
4 参考资料
□Kristina Halvorson所著的 Content Strategy of the Web(New Riders Press)
1.2 沟通评价
1 概念
针对各种交流进行定性评价在以下情境中时有发生:
□社交网络上;
□在用户生成的内容中(诸如博客评论或产品评价);
□在直接沟通中(诸如用户的电子邮件、即时聊天以及电话咨询等)。
2 何时使用
□在发布之前,了解用户是如何看待你的品牌、话题以及竞争者的;
□在Beta测试中,了解用户对内容的反应;
□在发布之后,了解那些困惑的根源,并监控内容的基调和负责交流的员工。
3 关键提示
□不要被杂草迷了眼。记住,关键是理解交流中的基调、主题、常用会话以及产生困惑和问题的源头。
□这项评价是定量沟通分析和社交分析的辅助与补充。
4 参考资料
□Brian Solis所著的 Engage(Wiley)
Mike Kuniavsky所著的Observing theUser Experience(MorganKaufmann)
1.3 趋势评价
1 概念
审核评价、分析以及外部研究,以确认业务、技术、行业、内容等各方面的发展趋势。
2 何时使用
□在发布后,了解可能的改革及机遇。
3 关键提示
□应当花些时间追踪当下的趋势,尤其要探索未来数年中可能发生的转变。如果你没有这样做,那你很快就会落伍。
4 参考资料
以下列出了我最喜欢的与业务和
内容策略有关的参考资源。
□Brain Traffic Blog(其中列出了许多其他博客和资源)-—http://blog.braintraffic.com
CMSWire -http://www.comswire.com
□Econsultancy.com -http://econsultancy.com
□爱德曼国际公关公司一 -http://www.edelman.com
□Forrester http://www.forrester.com①
□高德纳咨询公司- http://www.gartner.com
□哈佛商业评论- http://hbr.org
□麦肯锡咨询公司 -http://www.mckinsey.com
□尼尔森公司一 -http://www.nielsen.com
PaidContent.org -http://paidcontent.org
□皮尤网络与美国生活项目—http://www.pewintermet.org
□Scatter/Gather(睿域营销③博客)-http://scatergather.razorfish.com/
1.4 用户面谈
1 概念
与用户展开深入的、有组织的交流,通常需要面对面进行。
2 何时使用
□在发布之前,更好地了解用户,获得他们对内容信息、概念以及原型等方面的反馈;
□在发布之后,了解某些问题或未曾预料的结果产生的原因。
3 种类
□单纯地面谈;
□面谈和活动,召集用户检验你的内容。
4 关键提示
□与那些能真正代表你的用户或目标用户的人进行交流。这是获得准确认知的唯一方式。
□针对你希望获得的每种用户类型或特定人群,至少选择5位进行面谈。这是了解用户言行模式的最佳途径。
□不要同用户花费太多的时间用于核实内容,因为你没有时间就具体内容进行探讨。
□在就内容概念或原型进行面谈时,需提供尽可能多的观点。人们在对多个选项进行比较和对比的时候,通常能够提供更多反馈意见。
□在确定了面谈中的提问之后,先和你的同事演练几遍,再与用户进行面谈。在演练时,重在解决其中存在的问题,并纠正任何不够清晰或引导性的提问。
□这个方法可作为大多数定量方法的辅助手段。
5 参考资料
Mike Kuniavsky的著作 Observing the User Experience(Morgan Kaufmann)
□Donna Spencer的专著Card Sorting(RosenfeldMedia)
□Content Science网站发表的专栏文章“10 Tips for TestingaContent Concept”,网 址为htp://ontent-science.com/expertise/reports-tools/
2 定量方法:检测当前的状况
到目前为止,你可能留意到我对定量方法抱有一种合理的怀疑态度。这不是因为我讨厌数字,而是我发现,为了配合那些轻率的内容决策,人们总喜欢滥用和操纵定量方法。而令人惊讶的是,我还没有发现执行主管们在计算投资回报率(ReturnonInvestment,ROI)时错用过定量方法。我曾经合作过的所有主管、副经理以及高管们也都非常了解定性研究与定量检测结合的价值。我知道,更喜欢操纵数据的是那些狂热的易用性专家以及被他们误导的市场营销经理(需要注明的是,我在这里并无意冒犯那些真正优秀的易用性专家和网络营销推广专业人员)。缺乏情境的定量数据甚至会误导人走向歧路,而在最好的情况下也只是提供了一个含义模糊的参考。
如果你只喜欢文字,那么处理定量数据可能对你来说更像是看外语。但不必担心。为什么这样说?一方面,数据是不可靠的,它们有自身的局限性。一位从事商务智能工作的朋友曾说过:“我无法从自己所记录的数据中挖掘出有价值的东西。”另一方面,数据能够也应该以某种实用的方式被诠释出来。关键是要清楚这些数字究竟用于检测哪些方面,以及这类度量是否确实能够帮助你了解在内容中到底正在发生什么。
现在已经有许多可用的定量方法和定量工具。接下来,我会重点阐述那些在我看来对Web内容最有价值的方法。如果某个定量方法有多种测量工具可用,我不会一一列出来,而只选其中一个或几个作为范例。不过,每时每刻都可能有新的工具问世,因此你需要不时地查看一下你的选项。对于小型企业和非营利性组织,请注意我用星号(*)特别标注的那些工具,它们都具有较高的性价比。
2.1 问卷调查
1 概念
一系列涉及用户的人口统计学特征、喜好、期望以及兴趣的多项选择题、填空题
及开放性问题。
2 何时使用
□在发布内容之前,确认与用户相关的重要定性指标,诸如哪些内容主题能够吸引他们,他们对品牌或理念是如何理解的,等等;
□在发布之后,监控内容满意度、用户的感受,以及用户的人口统计学特征。
3 关键提示
□在设计调查问卷中的问题时需要小心,设计的问题不仅要清晰,而且不会倾向于某个特定的答案;
□要将问卷调查视作一种量化方法,需要很多人(即大量样本)完成问卷;
□适度加入开放性问题。这类问题尽管能为用户提供进一步阐明想法的机会,但并不适合作为问卷的核心。定性研究中更适于回答这类问题。
□设计一份可长期持续使用的问卷是非常实用的。你可以根据不同的营销活动或季节性的内容适当添加或删减问题。
4 类型和工具
网络上有许多可用的工具。
□通过SurveyMonkey*①(htp://www.surveymonkey.com)或 Survey.com*,设计并展开用户问卷调查;
□使用AmericanCustomerSatisfactionIndex(包括内容问题)进行辛迪加调研(即联合调研);
□在Twitter*或LinkedIn*上组织投票(微型问卷调查)。
5 参考资料
Mike Kuniavsky的著作Observing theUser Experience(Morgan Kaufman)
2.2 远程用户测试
1 概念
在网络工具(而非人力)的主导下进行的用户访谈和活动(参见9.1.4节的内容)。
2 何时使用
□在发布之前,通过这种方法来测试某个概念或原型的效果。
3 关键提示
□仔细设计一个方案(包含一系列任务和问题),让用户能够轻松地完成这项测试;
□要让这项测试达到定量方法所需的计数,需要很多人(即大量样本)完成该问卷;
□发布之前先与同事演练。剔除琐碎的问题,找出其中任何不清楚或倾向性较强的问题并加以修正。
4 类型和工具
□Usabilitytesting.com*,进行自主测试。
□Keynote,进行自动测试。
5 参考资料
NateBolt与Tony Tulathimutte合著的 Remote Research(Rosenfeld Media)
2.3 多变量测试与A/B测试
1 概念
对关键页面(诸如产品页面和登陆页)的多种版本在网站中实际运行所达成的效果进行比较。
2 何时使用
□在发布之前(Beta测试期间),就关键页面上的标题、按钮、内容编排、图片及相似的一些变量,测试多种版本设想。
□在发布之后,测试各关键页面或任务流的多种细微变化。
3 关键提示
□所需测试的变量越多,得出结论所需的时间就越长。
□这个方法能够表明,哪些变化能为用户带来更好的体验,但是它不会告诉你为什么。因而,很难从中总结出经验教训或原理以便适用于其他情形。
□2.3.2节中“高质量内容让假日酒店宾客盈门”的案例就给出了一个A/B测试范例。
4 工具
□Google网站优化工具(GoogleWebsiteOptimizer)*
□Optimost
2.4 网站分析
1 概念
针对访问者如何使用网站所做的详细统计。
2 何时使用
□在发布之前(Beta测试期间),监控网站的表现。
□在发布之后,作为定量检测用户与Web内容交互数据的主要方法。
3 关键提示
□即使只是一家小型企业,你也可以从商务智能专家或Web分析专家那里获得帮助,请他们设置一套分析方案,并解读相关分析数据(参看9.2.9节的补充资料“商务智能之于企业的价值”)。
4.实用的检测方法与标准
□数量与规模
■页面浏览量
■独立访客量
□质量与深度
■用户停留时间
■页面浏览量
■跳出率
■访客回头率
■品牌流量(参看9.2.6节的案例“美国高客传媒—品牌流量才是最佳流量”)
□行动
■客户转化率
■跳出率
■放弃率
5 工具
□Google Analytics*
□ Omniture
□ SiteCatalyst
6 参考资料
□Avinash Kaushik所著的Web Analytics2.0(Sybex)
2.5 社交网络舆情分析
1 概念
针对用户在社交网络上对你的评价及看法进行测评。
2 何时使用
在发布之后:
□监控交流中的基调;
□确认并处理其中产生的问题和误解;
□持续了解自身的影响力。
3 关键提示
□花些时间了解网站的发展情况及发展深度。不要奢望发布的每一项内容都能引发病毒式传播效应。对你而言,没什么结果能比长期(持续一段时间)保持内容的质量和建立忠实的社区更重要。
□在这个领域中,各种检测工具不断推陈出新。重点关注那些能够提供有用数据的工具。
□在应对问题方面,这个方法可作为交流审核中客户联络分析和定性方法的补充。
4 类型和工具
□Technorati*,调查博客权威度。
□Feedburner*,了解博客订阅量。
□Google快讯*、ReputationDefender或Radian6,衡量名称或品牌提及率。
□Klout*或Tweitalyzer*,衡量Twitter用户的影响力指数(依据各项细化的指标,而不是孤立的分数)。
□Twitter上的粉丝数和Facebook上的朋友数。
5 参考资料
□Avinash Kaushik所著的 Web Analytics 2.0(Sybex)。
□ Brian Solis所著的 Engage(Wiley)。
2.6 搜索及关键词分析
1 概念
检测人们通过Google、Bing等搜索引擎(进行站外搜索)以及你的站内搜索引擎(进行站内搜索)查找特定内容时使用的字或词组。
2 何时使用
□在发布之前,了解用户是如何寻找你计划涵盖的内容主题的。
□在发布之后,了解用户会通过哪些方式登录你的网站,并监控搜索关键词的变化。
3 关键提示
□用户与你的亲密程度不同,所使用的搜索关键词也会有所不同。举一个简单的例子,用户对你了解得越多,就越有可能把你的品牌或产品名称作为搜索关键词。(请参看下面的案例。)
□从针对性更强的
长尾关键词中寻找契机。在那里,竞争者较少,内容能获得的关注就相对多一些。
案例:美国高客传媒 品牌流量才是最佳流量
美国高客传媒发现,慕名而至的用户往往比其他用户能更深入地浏览他们网站的内容,并且更可能再次访问他们的网站。高客传媒把这种流量称为品牌流量(branded traffic)。
“品牌流量指的是,为了抵达高客传媒网站而直接输入网站的URL,或键入公司任一称谓进行查询的那部分访问量。这两类重要的人群构成了我们最有价值的核心受众,也就是那些知道我们、了解我们并会慕名寻访我们的访问者。”高客传媒市场营销总监ErinPettigrew如是说。
此番见解可谓精辟。那么,是什么促使她将那些评价标准合成一个重“质”而不重“量”的新指标?
“一些读者与我们的在线出版品牌之间已经形成了一种非常亲密的联系,我一直常试着找寻一种方式来表述它,以便网络营销推广公司更容易理解。单凭直觉,我们很久以前就知道,有一部分访问者是冲着我们的品牌来的,有些访问者则被特别的内容吸引而来。对于那些总是试图通过广告培养品牌意识的品牌营销人员来说,前一种访问者非常珍贵。”Pettigrew解释说。
我对她的话深信不疑。那么,网络营销推广公司是如何看待广告的呢?
“我们确实发现,一些网络营销推广公司认为广告能够帮我们量化某些倾向于定性的卖点。另一种看法是,在互联网世界中,人们通常都会根据规模来界定在线媒体的属性。然而,现在大多数重要的在线媒体都有数以百万甚至千万计的访问者,所谓的规模数字逐渐变得毫无意义。用独立访客量以及页面浏览量等传统的访问量指标来衡量,显得越来越徒劳。”
不过,充当先行者充满了挑战。尽管传统的访问量指标终有一天会遭到抛弃,但当前的在线广告系统还会让它们苟延残喘一段时间。
“只要我们还在发布广告时使用页面浏览量这个指标,它就会仍旧存在。”CoX媒体集团商业智能及平台高级经理AlanSegal说道,“不过,品牌流量这个指标将推动诸多大型媒体的改革。”
Pettgrew一直乐观地相信其他大型媒体将会跟进。她说:“品牌流量现在还算一个非传统的指标。由于我们是目前唯一能够提供这一指标的公司,各网络营销推广公司还不能利用它就各在线媒体进行比较。我非常期待看到其他在线出版商公布此类指标。”
我同样非常期待。鉴于现今多数网络营销推广公司都兼具广告商和出版商这两种身份,对这项指标的研究也将不断深入。
4 工具
KeywordDiscovery
□WordTracker
Google AdWords Keyword Tool*
□Google Analytics*
□SiteCatalyst
5 参考资料
□Avinash Kaushik所著的 Web Analytics 2.0(Sybex)。
□James Mathewson、Frank Donatone及Cynthia Fishel合著的Audience,Relevance,and Search(IBMPress)。
□Louis Rosenfeld与Marko Hurst合著的Search Analytics(RosenfeldMedia出版,主要针对自建网站讲述了各种搜索分析方法)。
2.7 用户联络分析
1 概念
这个方法主要用于了解用户会通过哪些方式与你联络,为何要联络你(通过电子邮件、电话、在线聊天等),以及他们在你主动联络(一般通过电子邮件)时有何反应。
2 何时使用
□在发布之后,确认和应对各种困难、问题或者误解时。
□在发布之后,了解用户是否会响应,以及采用何种方式响应你通过电子邮件发送的信息或新闻时。
3 关键提示
□寻找机会,通过内容优化降低产生麻烦或误解的可能性。
□随着你和用户之间的关联不断演进,针对人们联络你的原因,找出其中的变化和发展趋势。
4 工具
□ $\mathbf { S A P } ^ { \mathbb { ( D } }$ 等顾客关系管理工具
□电话、电子邮件以及在线聊天日志*
□iContact*和MailChimp*等电子邮件营销工具
5 参考资料
Mike Kuniavsky所著的 Observing the User Experience(Morgan Kaufman)。
2.8 线下指标
很多时候,你希望用户能采取线下行动。这时,你必须就如何衡量某些行为或该行为发生的迹象发挥更大的创造性。
例如,前文「另一条路」与内容策略相关讨论中提到的Get Yourself Tested活动(活动网址www.ityoursexlife.org②)
鼓励青少年接受防性病体检。显而易见,这项活动成功的一项重要指标就是青少年们是否接受了这项体检。活动主办方MTV和凯泽家族基金会也确实以此作为衡量指标。而在2009年4月,他们就发现前往计划生育诊所接受防性病体检的青少年人数增长了一倍。
2.9 辛迪加调研
1 概念
也称为联合调研,是通常由某个行业中的多家公司赞助、并由第三方独立公司或组织执行的定期调研。
2 何时使用
□在发布之后,确认并了解发展趋势。
□在发布之后,以客户满意度为标准追踪竞争力排名。
3 关键提示
□了解所用的调研工具,以便了解该项调研重在度量哪些方面。比方说,如果调研的内容是一次问卷调查的结果,那么就要核查这份问卷中的问题。
□辛迪加调研通常需要邀请具有代表性的用户组成座谈小组。请核实这些用户是否确实能够代表你的目标用户,并确认他们是否适用于你当前的情况。
4 工具
业内,这类工具比较少,以下是几个相对常见的。
□comScore
□Nielsen//NetRating
□J.D.Power and Associates
5 参考资料
□Avinash Kaushik所著的 Web Analytics 2.0(Sybex)。
如何使用评估方法
在规划内容时,请参考(而不是严格参照)表9-1中列出的方法清单。要选择并使用那些与你最重要的评估问题相匹配的方法。
表9-1各种评估方法的使用时间和场合
| 所处的阶段 | 可尝试的定性方法 | 可尝试的定量方法 |
| 发布之前 | 内容核查交流核查用户访谈 | 搜索与关键词分析调查问卷远程用户测试多样化和A/B测试 |
| 发布之后(包括发布一段时间之后) | 用户访谈交流核查趋势核查 | 调查问卷网站分析社交网络舆情分析搜索与关键词分析联系分析线下分析辛迪加调研 |
商务智能之于企业的价值
与商务智能专家或Web分析师保持良好的关系,你就能从量化的Web数据中得到最有价值的信息。我曾与两位同事JeffChasin和AlanSegal探讨过其中的利弊,他们分别是Web分析顾问和Cox传媒集团商务智能与平台专家部门的高级经理。
正确运用分析工具
现实中,可用的分析工具很多。商务智能专家或Web分析师会为你的问题匹配最适宜的工具,它们不仅能够给出最好的答案,还能够完美地相互协作。
正如Chasin所说:“一名富有经验的Web分析师能帮你将所有目标纳入到一个可检测的系统中,这是任何工具或技术都无法做到的。”
Web分析师还能够准确运用各种分析工具,你可以相信他们的检测。比如,Web分析工具要求你列出网站的特定代码。
定制一体化的“控制面板”
商务智能专家非常清楚如何将多种量化数据组装成一个“控制面板”。比如说,他能帮你将辛迪加调研和你的网站分析及内容分析结合起来。除此之外,你还可以为不同的角色定制控制面板—对大型组织而言,这是非常方便和实用的。
Segal就曾解释道:“我们新闻网站的运动专栏编辑希望只看到和运动内容相关的信息。”
不过,要创建这样的控制面板,需要做许多工作。
“将不同的数据系统联合起来,并用高端商务智能工具创建报告,这不是一项小投入。大多数大型企业能够接受这样的投资回报率,是因为它们自身的规模较大,需要将这些系统连接起来。”Chasin如是说。
替你解析数据
“没有情境,数据就仅仅是数字而已。”商务智能专家会帮你从实用性的角度来解析这些数据,Segal继续补充道,“大多数情况下,一旦结合用户的体验周期以及商业周期,指标中的情况就相当复杂了。”
举个例子,由于Cox传媒集团旗下的电视、广播或Web媒体超过100家,大多数都面向当地市场,比如说专门面向某个特定的城市或地理区域,所以为了了解当地居民是否会使用这个网站,Segal会特别关注这些指标。
“如果CNN.cOm高亮显示了我们网站发布的一篇报道,并吸引了很多外地用户到这个站点,那就太棒了。但是,我们应该投入更多关注的是吸引本地用户频繁、深入地浏览我们的网站,而不是泛泛地浏览网页。为了了解这一点,我们必须撇开用户浏览量和独立访客量等数据。我也会特别关注那些我们可以在实际中采纳或运用的想法。”
适合于小型公司和非营利机构的选择
小型公司或非营利机构并不需要一个商务智能专家团队,一位商务智能顾问
便足以为它们建立并维护一个实用的系统。
“每个月雇一位有经验的顾问用几个小时帮你检测一下,这就足以为你的业务带来有价值的回报,这是一笔相对实惠的投资。”Chasin解释道。
他还补充说:“非营利机构则可以充分利用‘TheAnalysisExchange’这类项目,参与此类项目的专业志愿者经验丰富,并会免费帮助非营利机构改进网站。”
3 本章综述
准确地使用定性方法和定量方法,我们就能获得相对准确的评估。随着答案一一揭晓,我们需要做出判断:自己是迈向了通往影响力的正确途径,还是需要改变方向。「内容校正」一文将深入探讨调整路径的方法。