衣国垒：湖仓无界：使用Apache Doris构建Lakehouse

今天分享的是：衣国垒：湖仓无界：使用Apache Doris构建Lakehouse

报告共计：13页

《湖仓无界：使用Apache Doris构建Lakehouse》由衣国垒分享，核心围绕湖仓一体的需求、转型痛点及基于Apache Doris的解决方案展开。

1. 湖仓一体的需求

- 数据一体化：需用统一存储架构管理实时与历史数据，保证格式和存储一致，便于高效读取处理；支持流批混合处理，确保分析及时全面；实现数据一致性管理，避免冗余冲突；提供统一接口和优化查询引擎，提升访问效率。

- 功能一体化：要实现不同数据源的统一元数据表示和集中管理；通过开放数据格式保证系统开放性；支持半结构化数据存储和访问；利用高性能查询引擎和多计算引擎，结合存算分离架构降低成本。

2. 湖仓一体转型的痛点：企业在湖仓一体建设中面临诸多难题。数据统一困难，湖和仓数据流转成本高、表示不统一、冗余存储成本高，数据权限和查询也不统一，使用体验不一致，这些问题阻碍了湖仓一体的发展。

3. 基于Apache Doris的湖仓一体方案

- 数据无界：Apache Doris拥有丰富数据源，SQL方言兼容性强，在实际客户现场对Presto/Trino、Clickhouse等的兼容程度达95%，支持多种数据库、文件格式和元数据服务。

- 在线离线一体化：在Adhoc查询和ETL处理上表现出色，如在TPC-DS测试中，相比Trino等有更好的性能表现。

- 湖仓融合：作为统一湖仓引擎，通过Storage API满足Spark和Flink的高吞吐数据读取需求，采用冷热分离、存算分离降低成本，促进湖仓间数据流动。

总之，Apache Doris针对湖仓一体的需求和痛点，提供了全面的解决方案，在数据管理、性能优化和成本控制等方面展现出优势，为企业实现湖仓一体架构提供了有效途径 。

以下为报告节选内容