摘要: XTX公司为满足其算法交易业务对海量存储资源的需求,开发了自研分布式文件系统TernFS。TernFS具有以下特点:可扩展至数十EB,支持数万亿文件和百万级并发客户端;采用冗余存储保护数据安全;无单点故障;支持文件快照;可跨多个区域部署;硬件无关,使用TCP/IP通信;支持多种存储类型;提供自定义API和Linux内核模块访问。TernFS已应用于XTX公司的机器学习工作负载,并取得了良好的效果。
讨论: 本文档讨论了一个名为TernFS的文件系统的相关话题。其中包括一位用户指出HN重复检测器的漏洞,并建议修复。另一个用户询问了TernFS与Lustre文件系统的比较,并表达了在Argonne National Lab切换到TernFS的意愿。还提到了ZFS作为对比,以及对于TernFS功能和性能的讨论。
原文标题:TernFS – an exabyte scale, multi-region distributed filesystem
原文链接:https://www.xtxmarkets.com/tech/2025-ternfs/#posix-shaped
讨论链接:https://news.ycombinator.com/item?id=45646691