你好，我是邱岳，今天我分享的主题是：要不要相信你的调查问卷。
产品设计的敌人之一是闭门造车，当我们有了创意和沙盘推演之后，一定要去了解用户，而提到了解用户，我们一定都会想到调研。
在互联网产品的语境中，提到调研通常是指在目标用户群体中选取样本，通过访谈、讨论或者发放问卷的方式，引出我们想要描述的某些东西可靠有效的测量。
今天我打算分享在调研这个事情上的一些经验教训，希望能给你带来一点启发。
先分享一个与调研相关的经历，很多年前，我所在的部门做了一个线上沟通工具，允许用户在互相不交换电话号码的前提下进行电话沟通，原理跟如今的虚拟号码或者在线电话类似。当时我们为这个工具找了一些场景，其中有一个规模很大。为了稳妥起见，我们组织了面向这个目标场景受众的一轮调研。
调研结果非常喜人，受访者表现出了对这一工具的极大兴趣，我记得当时有个问题大意是：如果这样的工具上线，你愿意付费使用吗？有非常大比例的用户表达了付费意愿。
就这样，在满满的信心和期待中，我们终于将产品发布了。结局想必大家也能猜到，产品最终反应平平，甚至有一点惨淡。并没有产生调研结果预计的那样大规模的抢购，像把一颗拉了弦儿的手榴弹扔进湖里，仅是水面泛起一丝涟漪，然后归于平静；等了半天，始终没有像想象中那样炸开。
这件事情让我后来很长一段时间对调研这种形式本能地不信任，也引导我去读了大量跟调研相关的书和材料。这就像是一个一直悬在我脑海中的问号：为什么调研失掉了准星？
这里我试着把自己的反思和教训结合读到的一些东西总结出来，跟你分享。
第一个经验是一个操作流程建议，就是在做任何调研之前，一定要先拟订一份详细的调研目标清单，以及准备一份如何使用数据的分析计划。根据调研目标，去进行拆解，设计具体的调研过程大纲，再基于这个大纲来设计问题。
假设，我们想调研用户在通勤过程中是否拥有使用阅读软件的空间，以这个作为目标，可以围绕它来分解目标、设计问卷大纲。
先了解用户所处的客观通勤条件，比如通勤时间段、通勤方式以及一些环境特点（有没有网络，是否拥挤等），然后了解用户当前的使用习惯，以及在此过程中可能存在的痛点。
而后在设计问题的过程中，每一个问题，都应当与一个具体的目标相关，比如我们可以问通勤方式，也可以问每天花在通勤上的时长，但如果问每天在通勤中的支出，就很可能是无关问题。
数据分析过程，则是从结果反向校验问题设计的过程，比如我们需要决定是否在产品中加入离线缓存功能，那么我们需要获知用户在通勤过程中的网络条件。
可能我们起初在问卷中设计的问题是“你在通勤中能够连接互联网吗”。从数据分析出发，是不是只要大部分用户能够连接互联网，我们就可以降低离线缓存功能的优先级？
其实并不是这样，首先能够连接互联网未必意味着有足够的带宽同步信息，可能网速很慢体验还是非常糟糕，这样我们可能将问题改为：“你在通勤过程中的网速如何”。但是如果我们的用户不是互联网从业者，他没办法分辨是否连接了互联网，更别提对网速进行判断了。
这就引出了第二个经验，就是一定要保证用户可以用准确而且一致的方式理解和回答问题。在上面这个例子中，询问网速不是一个好办法，或许我们可以询问用户是否可以顺畅地看视频、打游戏、回复微信等更直接和具体的问题。
在设计问卷的时候经常会犯的一个错误是直接将问题目标转换成问题，换句话说，就是以问题的形式描述问题的目标，比如你心里想知道通勤过程中的网络条件，那就直接设计一个问题：你通勤过程中的网络条件如何？这是调研者希望受访者来完成自己的工作，并直接给出目标信息。这样做很少行得通，反倒投射出一种不负责任的态度。
如果真的这么简单，只问一个问题就好了：
如果我做一个通勤过程中的阅读工具，你会用吗？
A. 会；B. 不会。
就像我们当时经历的那一次失误，就是直接地向用户询问“如果我们做一个这样的产品，你们会买单吗”一样，这样的结果很难具备参考价值。
这其中还埋着一颗雷，也是我想分享的第三点经验，就是在调研中，尽量少提假设性问题。对未曾经历过的情境，人们并不善于预测他们自己会做些什么或如何感受。在这时，用户会有意无意地试图美化自己，迎合调研者；而调研者的小企图，往往就藏在这一句带有假设的问题里。
我来举几个例子。
“如果能更有效地计算投资的风险与收益，你会委托我们管理你的一部分资产吗？”
“如果能保证你所购买的商品的真货率，你是否会更愿意在这样的平台购物？”
“如果我们做了一个新的（具体的）功能，你会愿意为此付费吗？”
类似问题的统计数据或许会给你一个还不错的数据，但事实上，结果可能不会是这样。
这也是第四个经验，那就是不要套路用户，不要有意无意地制造情境，引导回答。除了假设性问题之外，问题中的表述方式甚至问题排序以及上下文，都会给受访者带来干扰和引导。
比如，如果我们问“在当前房地产市场整体不景气的预期下，你是否认为买房是优质投资手段”，就是在描述中夹带了强烈的立场倾向。
再用刚才的例子，如果我们问“每天在通勤中有大量的时间被浪费掉，你是否愿意利用这段时间充实和提高自己”，前半句的暗示就显得很不地道。
《调查问卷的设计与评估》书中有个很有趣的例子，是讲酗酒问题的，调查者发现如果直接询问受访者他平时酒量的话，得到的数字会明显低于实际情况。因为用户会担心负面评价，所以会倾向于修饰自己的答案。
但如果在这个问题之前增加问题，先询问他身边最能喝酒的朋友的酒量，然后再问他自己的酒量。因为有了朋友的铺垫，受访者会感受到轻松（因为有喝得更多的人垫底），从而倾向于说出更接近实际情况的数字。
所以我们在设计问题时，一定要学会营造问题语境，不要让受访者觉得他们的答案会导致自己受到负面的评价。即便是匿名调研，这种担心负面评价的心态也会影响到回答的真实性。
在调研中构建问题，保证问题对所有受访者有一致性的理解，得到期望测量问题的客观反映，这不仅是经验，更是一门成体系的学问。推荐我上面提到的这本《调查问卷的设计与评估》，以及大部头的《营销调研》《用户体验度量：收集、分析与呈现》，后面这两本书内容很体系化，但挺难读的，你可以做好心理准备。
当然，用户研究远不止问卷这么单一，还有像可用性测试、用户访谈、焦点小组、日记研究、实地调研等等，推荐《用户至上：用户研究方法与实践》还有《点石成金》，你可以快速地了解一下。除了问卷之外，还有很多更加客观和冷静的用户研究方法。
所以最后的一条建议是跳出问卷研究和观察用户。刚才我们说到，用户很可能会倾向于修饰自己的答案，以避免负面评价，或确认自己的身份认同，也可能单纯地不希望让研究者感到失望。
这并不是受访者在有意撒谎，我觉得自己有时也是这样，回答问题的时候我真的是那样想的，但身体很诚实，不一定会像说的一样去行动，所以有时观察用户的行为会比单纯地询问他的想法更准确。
互联网产品可控、可测量的特性让观察用户行为变得非常容易，除了可用性测试等研究方式之外，我们还可以直接从产品中或产品外取得大量的行为数据，我们可以看到用户的访问、转化、留存等等。
我自己的原则是，能用整体行为数据做推测的，就不做可用性测试，能做可用性测试的，就不用调查问卷（提示：由于我过去的经历，这样的原则很可能是有些极端的），后面的专栏文章中我会分享行为数据分析的一些经验，到时候我们再详细聊这个话题。
今天，我与你分享了自己在做用户调研时候的五条经验。
调研之前，要先列好你的清单和计划，调研的问题要设置成更为便于回答的，尽量少提一些假设性问题，以免给自己挖坑。在调研中，你需要用真心诚意去跟用户沟通，而不是想着去套路他们，诱导回答得出的结论也并不会是真实的结果。
最后，你要试着跳出调查问卷，身临其境地去观察和研究你的用户，这样可能更容易收集到你需要的答案。
你在做用户调研的过程中遇见过什么样的问题呢，欢迎把你在工作中遇见的问题留下来，我们一起讨论，感谢你的收听，我们下期再见。
评论