数字:关于调查问卷过长、令人望而生畏或无趣的警示故事
位客户最近联系我们的国际调查抽样公司 (SSI),表达了对她所抽样的受访者速度过快的担忧。与客户自己的预测试结果相反,该测试表明 25 分钟是完成问卷的合理时间,但结果显示 8% 的受访者在不到 10 分钟的时间内完成了调查 – 客户认为这太快了。
客户质疑为什么不把这些“超速者”从研究中剔除,只留下那些以较慢、更合理的速度完成研究的人。
这个问题问得好
高质量的手机号码数据在提高转化率方面起着至关重要的作用。事实上,高质量和经过验证的数据为个性化营销活动 手机号码数据 奠定了基础,这些活动可以在正确的时间接触到目标受众。由于拥有高质量的电话号码数据,因此可以实现更好的定位和参与度,从而增强客户体验,从而实现更多的转化和业务增长。这开启了一个精准营销的世界。
样本提供商的业
务是提供细心、周到的受访者,作为标准做法,SSI 和大多数样本提供商都通过更换出现质量问题(包括超速)的受访者案例来支持客户项目。
但我们很好奇,决定更详细地研究这些数据。这项研究的设计或这份问卷是否有一些不寻常之处,可能导致或促成人们加速回答的趋势?更重要的是,删除快速回答调查的“兔子”的结果,只保留以较慢、更谨慎的方式完成调查的乌龟的结果,是否会在某种程度上使调查数据产生偏差?
对问卷和数据的检查给出了一些答案。
正如预期的那样,最快的调查对象更有可能直接回答问题(或至少回答中几乎没有差异)。如表 1 所示,在那些用不到 10 分钟完成调查的人中,有三分之一的人直接回答了第一个问题。
如表2所示,第二个问题的结果是类似的。
跳到 Q14(表 3)显示“问题”变得更糟(尽管 Q14 只有五个项目,因此直线化是更合理的回应)。
然而这里的关键
发现是超速的受访者与对调查主题不感兴趣或不感兴趣的受访者之间存在很强的相关性。受访者被问及他们对调查主题的关注程度,表 4 清楚地显示,那些不关心或不关心这个问题的人更有可能在 15 分钟内完成问卷。
同样,完成得更 向您出示合法性和认证证明 快的人更有可能表示他们没有考虑过这些问题或这些问题的优先级较低。57% 的对这个话题不感兴趣的人用不到 15 分钟就完成了问卷,而表示非常关心这个问题的人只有 22%。
如果由于缺乏显著性,直线化不一定是个问题——假设受访者会直线化“正确”的答案。就本次调查中的某些问题而言,对这个话题不感兴趣的人可以合法地直线化许多答案。
那么该怎么办呢?行业标准做法是,我们需要替换那些速度快的人。但如果我们这样做,我们很可能会用真正关心这个话题的人来代替他们,从而导致“你有多关心这个问题?”这个问题的答案出现偏差。
此外,如果受访者对主题不感兴趣,匆忙完成调查,他们也更有可能退出。经过数据检验,这一假设(表5)也得到了证实。
那些甚至没有考虑
过调查主题的受访者的退出率比调查的平均退出率高出 50% 以上。
那么,用“新鲜、细心”的样本代替辍学者和超速者的行业标准做法是否会导致调查数据本身出现令人担忧的偏差?这种做法是否应该改变?如何才能阻止超速行为?
这项研究的一些特点可能为超速行驶提供了肥沃的土壤。
• 对于一个在“热情”程度上排名较低的话题来说,它的演讲时间非常长,长达 25-30 分钟。
• 完成这项工作非常 台灣資料庫 具有挑战性,因为针对一个特定项目提出了 67 个问题,然后是针对另一个项目需要回答的一组几乎相同的问题,然后是与另外两个项目相关的相同问题 – 总共超过 250 个问题。
• 该调查还假设受访者肯定购买了每件特定的商品,这可能会迫使受访者回答有关他们从未购买过的产品的详细问题。
• 这项研究包含多个网格式问题,通过分析退出情况可以清楚地看到它们的影响。在完成最后一个筛选但未完成整个问卷的 134 人中,只有一人在最后一个网格/产品问题中退出。在第一次看到网格(表 6)、第一次重复该网格以及随后更换新产品并重复该网格时,退出率很高。
这项调查如何可以改进
• 删除部分问题或为每个受访者轮换部分问题,以便为每个人提供更短的问卷调查体验(例如,4,000 人回答 160 个问题比 2,500 人回答 250 个问题提供的数据更多)。
• 确保问题是受访者能够回答的问题(即问题应该涉及受访者购买过的产品)。
• 在调查开始时确定兴趣水平,并将对主题不太感兴趣的受访者分配到较短的子集问题,从而保留数据集内参与度较低的人群子集的重要答案。
• 尽可能在网格问题中引入一些项目,使直线化成为不太现实的选择。虽然这不能阻止这种行为,但确实使识别更容易。
值得再看一遍
从这个案例研究中得到的教训是,超速回答的情况值得重新审视。一旦怀疑受访者行为不当,就应该仔细检查问卷设计和回答数据,因为受访者超速完成调查可能有正当理由。此外,如果研究对象是由各种“动物”组成的,那么仅仅将所有野兔都换成乌龟可能会让研究人员快速得出低质量的研究结果。