摘要： 本文讨论了在初创公司中，由于快速交付的压力，团队可能会通过p-hacking来报告任何看似改进的结果。文章分析了三种常见情况以及如何避免它们。首先，文章指出在多个比较时未进行校正会导致错误的结果。其次，讨论了在结果出来后重新定义指标的问题，并提出了预先注册假设和指标的方法。最后，文章强调了在实验中过早停止可能导致的偏差，并建议使用顺序测试来控制错误率。总结来说，通过遵循良好的统计实践，可以加速学习过程，提高对用户行为的理解。
讨论： 这段内容主要讨论了初创公司在产品开发和测试方面的实践。作者们探讨了在客户面对型初创公司中，特别是在SaaS领域，进行严格测试的普遍性和必要性。一些观点认为，在没有实现产品市场匹配的情况下，过度依赖统计显著性测试是浪费时间的，应该更注重构建功能和观察用户行为。另一方面，也有人认为即使是销售非生命攸关产品的公司，也应该保持一定的严谨性，但不应过度追求统计显著性。此外，讨论还涉及了预注册、A/B测试的有效性以及在不同阶段初创公司中如何平衡直觉和数据分析等问题。
原文标题：P-Hacking in Startups
原文链接：https://briefer.cloud/blog/posts/p-hacking/
讨论链接：https://news.ycombinator.com/item?id=44308328