摘要： XTX公司为了满足其算法交易业务对存储资源的需求，开发了TernFS文件系统。TernFS是一个可扩展到数十EB、支持数万亿文件和数百万并发客户端的分布式文件系统。它具有以下特点：冗余存储以保护驱动器故障、无单点故障的元数据服务、支持快照以防止意外删除、跨多个区域扩展、硬件无关且使用TCP/IP进行通信、有效利用不同类型的存储（如闪存和硬盘）、通过自己的API提供读写访问，无需外部服务且依赖项最少。TernFS采用256个逻辑分片来存储元数据，并通过分布式共识引擎进行协调。它还支持跨多个数据中心扩展，并采用多种措施来确保数据安全性和可靠性，包括CRC32-C校验和、冗余存储、驱动器类型选择和块证明等。TernFS还提供了POSIX兼容的内核模块和S3网关，以及用于监控和管理系统的工具和接口。
讨论： 该内容主要讨论了TernFS分布式文件系统的设计和实现。用户们提出了关于系统硬件兼容性、数据复制方式、分布式共识算法、性能优化、与其他文件系统的比较以及系统开发测试方法等方面的问题和观点。其中，charleshn提出了关于硬件无关性、RDMA使用和分布式共识算法效率的问题；harshaw认为TernFS更像是对象存储系统，并讨论了数据复制的成本；rickette对存储大量数据的原因表示好奇；mrbluecoat指出了TernFS不适合处理小文件；ttfvjktesd询问了TernFS与CephFS的比较；Balinares对开源表示赞赏；eps建议增加使用案例说明；hintymad讨论了元数据活动和单实例扫描的权衡；chatmasta询问了大型科技公司是否都开发了自定义文件系统；hardwaregeek分享了Hudson River Trading的分布式文件系统。
原文标题：TernFS – An exabyte scale, multi-region distributed filesystem
原文链接：https://www.xtxmarkets.com/tech/2025-ternfs/
讨论链接：https://news.ycombinator.com/item?id=45290245