摘要： 本文探讨了Apache Iceberg中平等删除问题的挑战和解决方案。文章首先介绍了Postgres和Apache Iceberg在数据基础设施领域的应用，并指出将Postgres与Iceberg结合使用时，实时数据流传输的难点。接着，文章详细解释了Iceberg中两种删除机制：位置删除和平等删除，并分析了它们在批处理和流式CDC场景下的适用性。文章指出，尽管平等删除在流式CDC场景下是可行的，但许多主流查询引擎如Snowflake、Databricks和Redshift并不支持它。最后，文章介绍了RisingWave如何通过一系列工程技术实现从Postgres到Iceberg的流式CDC数据传输，包括优化写入阶段、可调度压缩阶段和跨引擎兼容性处理等，以解决平等删除的问题。
讨论： 上述内容主要讨论了PostgreSQL与Apache Iceberg结合使用时的挑战和考虑。文章中提到，在流式CDC场景下，查询Iceberg数据库的实时性能几乎是不可能的，因为每次删除都需要查询位置，这会引入随机读取、延迟和降低吞吐量。讨论中还涉及到CDC过程中状态管理的必要性，以及是否应该存储从PostgreSQL行到Iceberg位置的映射。此外，文章还提到了Databricks收购Neon和Tabular等公司的事件，以及Postgres和Apache Iceberg作为成熟系统的讨论。一些评论者提出了对这种架构的疑问，认为它可能不适合所有用例，特别是当涉及到数据的高可变性和频繁的架构变更时。
原文标题：The equality delete problem in Apache Iceberg
原文链接：https://blog.dataengineerthings.org/the-equality-delete-problem-in-apache-iceberg-143dd451a974
讨论链接：https://news.ycombinator.com/item?id=44880081