摘要: 本文介绍了作者为开发名为EyesOff的应用而创建的深度学习模型,用于检测是否有人正在注视屏幕以防止窥视。由于缺乏现有数据集,作者手动标注了20,000多张图像并创建了合成注视标签进行预训练。最终模型在近距离和中距离上实现了约71%的准确率。文章详细描述了以下内容:
- 为什么要创建自定义模型:由于现有的Eye-Contact-CNN模型过于严格,作者决定创建自己的模型和数据集。
- 数据缺乏的解决方案:作者创建了自定义数据集,包括FFHQ、自拍数据集和视频会议数据集(VCD),并手动标注了图像。
- 模型训练:作者使用EfficientNetB0作为预训练模型,并采用两阶段训练方法,包括 gaze regression 预训练和 screen contact classification 微调。
- 模型评估:作者在三种不同场景下评估了模型的性能,包括近距离、中距离和微妙距离,并发现随着数据量的增加,模型的性能得到了显著提高。
- 结论:本文展示了如何使用深度学习技术创建一个用于检测屏幕注视的应用程序,并为其他类似项目提供了有价值的见解。
讨论: 上述内容主要讨论了一个应用程序,该应用旨在通过检测用户是否在注视屏幕来防止旁路攻击。用户对此应用的实用性和准确性提出了质疑,认为其可能被用于员工监控,并可能导致工作场所的不安全感。一些用户认为这个应用可能无法有效工作,因为大多数网络摄像头的视野范围很小,难以捕捉到旁路者的视线。此外,还有用户提到,对于保护隐私来说,这种工具可能是一种过度反应,并且可能不如简单的操作安全措施(如仅在私密场所进行敏感操作)有效。
原文标题:EyesOff: How I built a screen contact detection model
原文链接:https://ym2132.github.io/building_EyesOff_part2_model_training
讨论链接:https://news.ycombinator.com/item?id=45935970