Databricks Analytics

Databricks —— Apache Spark 创始团队创建的数据与 AI 平台，Lakehouse 架构的开创者

Databricks 数据智能平台

summary

由 Apache Spark 的学术创始团队创立，Databricks 提出了 "Lakehouse" 概念——将数据湖的灵活性和数据仓库的可靠性合二为一，正与 Snowflake 展开百亿美元级别的数据平台之战。

read_when

• 研究现代数据架构：Lakehouse vs Data Warehouse vs Data Lake
• 分析 Spark 生态系统和大规模数据处理技术
• 评估 Databricks vs Snowflake 的竞争策略差异
• 了解 MLOps 和统一分析平台的实现方式
• 研究开源商业化的成功案例

历史时间线

• 2009-2013: Matei Zaharia 在 UC Berkeley AMPLab 创建 Apache Spark 项目
• 2013: Databricks 正式成立，创始团队包括 Spark 的 6 位核心贡献者
• 2016: 推出 Databricks Unified Analytics Platform，基于 Spark 的托管服务
• 2019: 发布 Delta Lake——为数据湖带来 ACID 事务和 Schema 管理
• 2021: 提出 "Lakehouse" 架构概念，发布 Delta Lake 2.0
• 2022: 收购 MLOps 公司 MosaicML（$13 亿），强化 AI 训练能力
• 2023: DBRX 开源大模型发布，性能媲美 Llama 2
• 2024: IPO 传闻不断，估值约 $430 亿，成为最大未上市科技公司之一
• 2025: Unity Catalog 成为行业事实标准，统一数据和 AI 治理

商业模式

基于消费量的 DBU（Databricks Unit）计费模式。平台按计算资源消耗收费，存储与计算解耦（客户自行选择 AWS S3/ADLS/GCS）。核心产品层：数据工程（Spark）、数据分析（SQL Warehouse）、AI/ML（MLflow + MosaicML）、数据治理（Unity Catalog）。客户从小型团队按量使用到企业级年度合同。

护城河分析

• Apache Spark 源头优势: 创始团队就是 Spark 的发明者，对底层代码的理解无人能及
• 开源战略: Delta Lake、MLflow 等核心组件开源，建立开发者生态和社区粘性
• Lakehouse 先发: 最早将 "湖仓一体" 概念产品化，定义了这个新品类
• AI 原生集成: 从数据处理到模型训练的一体化平台，无需切换工具
• 多云平台: 原生支持 AWS、Azure、GCP，客户无云锁定风险

关键数据

• 最新年度 ARR: ~$20 亿+（估算，未上市）
• 最新融资轮估值: ~$430 亿
• 客户: 10,000+ 企业客户（含 60%+ 的 Fortune 500）
• 日处理数据量: EB 级别（全球最大数据处理平台之一）
• 员工: ~7,000 人

有趣事实

• Databricks 这个名字融合了 "Data"（数据）和 "Innsbruck"（因斯布鲁克，奥地利城市）——因为创始人团队中有几位来自这个城市，而 Spark 项目正是在这里的一次开发者聚会上被讨论命名的。
• Matei Zaharia 在 25 岁时就发明了 Apache Spark——这个项目后来成为大数据处理的事实标准，全球超过百万开发者使用。