允瑾

ByteHouse

互联网 2024-10-08 09:05:55

ByteHouse 是火山引擎基于ClickHouse研发的一款分析型数据库产品,是同时支持实时和离线导入的自助数据分析平台,能够对 PB 级海量数据进行高效分析。

ByteHouse历经字节跳动内部海量数据场景的打磨和极限的业务要求,具备真实时分析、存储-计算分离、多级资源隔离、OLAPaaS(OLAP as a service)云上全托管服务四大核心优势。

目前,在字节跳动内部,ByteHouse已经支持了80%的分析应用,能够高效赋能精准营销、广告效果评估、增长分析等多种场景。

发展历程

2021年8月,火山引擎基于字节跳动内部最佳实践,正式推出ByteHouse企业版,作为 ClickHouse 企业版,解决了开源技术上手难、试错成本高等企业数字化转型中遇到的技术痛点。

2021年12月2日,火山引擎在"新云·共未来"发布会推出ByteHouse云数仓版,该版本支持云中立,能快速适配企业客户不同的公有云基础架构环境。

产品优势

基于 ByteHouse,您可以体验到如下优势:

  • 连接本地和远端,实时和离线的数据,提供极致扩展的统一数据分析平台。

  • 基于实时的数据分析,辅助决策,加速业务洞察。

  • 极大降低运维成本,用户只需专注于自身业务逻辑的实现。

产品亮点

  • 免运维的托管服务

ByteHouse 提供了一个自助服务平台,针对部署和运维提供了多种工具进行集群管理。此外,ByteHouse 针对系统的运行情况提供了全面的监控、负载指标,让您更好地了解业务状态,方便地进行故障排查与问题诊断。

  • 支持高性能单点查询的云原生 MPP 架构

ByteHouse 基于新一代 MPP 架构,结合 Shared-nothing 的计算层以及 Shared-everything 的存储层,有效避免了传统 MPP 架构中的 re-sharding 问题。通过使用 HDFS 作为存储层,ByteHouse 支持多云厂商及私有化环境的部署,从而实现云原生架构。

  • 弹性伸缩和可扩展性

Bytehouse 采用存储与计算分离的架构,实现了可扩展的计算与分布式存储,确保资源可以灵活地水平扩展。此外 ByteHouse 还提供了数据导入等一系列无服务器(Serverless)功能,随用随取,无需事先预置资源。

  • 多级资源隔离

Bytehouse 支持多级资源隔离,包括租户级别资源隔离,读写分离和计算资源隔离等,确保查询任务不会互相影响,为您的资源提供企业级安全保障。

ByteHouse(企业版)

ByteHouse(企业版)是基于开源 ClickHouse 的企业级分析型数据库,支持用户交互式分析 PB 级别数据,通过多种自研表引擎,灵活支持各类数据分析和应用。

产品功能

  • 自研引擎
    高效实时数据落盘,确保数据不重不漏,满足数据写入和查询高可用

  • 分级存储
    热数据按生命周期自动转冷,缓解存储空间压力

  • 增强运维
    内置图形化运维界面,轻松了解集群服务状态和库表信息,自动化下发运维任务

  • 安全稳定
    服务架构高可用,确保无单点故障瓶颈

产品优势

  • 极致性能
    通过向量化查询、列式存储和分布式 join 构建高性能查询引擎,实现 PB 级数据秒级响应

  • 批流一体
    支持 Kafka、Hive 数据源,为多种业务场景提供统一分析体验

  • 数据去重
    10亿数据量级下的 Upsert,解决高效数据更新困难

  • 专业支持
    结合字节跳动国内最大规模的 ClickHouse 集群管理最佳实践,为客户提供专家巡检和售后服务

产品架构

应用场景

广告业务、用户增长、AB测试算法、模型优化

ByteHouse(云数仓版)

ByteHouse(云数仓版)作为云原生的数据分析平台,实现统一的离线和实时数据分析,并通过弹性扩展的计算层和分布式存储层,有效降低企业大数据分析TCO。

产品功能

  • 虚拟数仓
    Serverless计算引擎,可按照实际资源需求动态扩缩容

  • 企业级安全
    在网络接入、RBAC、数据对象等多层次提供安全保障

  • 批流一体
    连接本地和远端,实时和离线的数据,提供极致扩展的统一数据分析平台

  • 自助运维管理平台
    提供查询分析可视化、指标监控服务和开发者工具支持,助力用户低成本管理数据

产品优势

  • 存算分离
    完美结合shared-everything分布式存储和shared-nothing计算层,实现全解耦弹性可扩展

  • 资源隔离
    提供多租户、读写分离、计算资源隔离等多级隔离方式,确保细粒度资源管控

  • 容器化
    降低部署门槛,使开发人员能快速行动,高效创建集群

  • 灵活计费