Apache Pulsar 在 BIGO 的性能调优实战（上）

Apache Pulsar 在 BIGO 的性能调优实战（下）

调优期间关注指标

Pulsar Broker

• jvm heap/gc
• bytes in per broker
• message in per broker
• loadbalance
• broker 端 Cache 命中率
• bookie client quarantine ratio
• bookie client request queue

BookKeeper

• bookie request queue size
• bookie request queue wait time
• add entry 99th latency
• read entry 99th latency
• journal create log latency
• ledger write cache flush latency
• entry read throttle

ZooKeeper

• local/global ZooKeeper read/write request latency

Pulsar Broker 性能调优

对 Pulsar Broker 的性能调优，主要分为如下几个方面：

1. 负载均衡
   • Broker 之间负载均衡
   • Bookie 节点之间的负载均衡
2. 限流
   • Broker 接收消息需要做流控，防止突发洪峰流量导致 broker direct memory OOM。
   • Broker 发送消息给 consumer/reader 时需要做流控，防止一次发送太多消息造成 consumer/reader 频繁 GC。
3. 提高 Cache 命中率
4. 保证 ZooKeeper 读写低延迟
5. 关闭 auto bundle split，保证系统稳定

Bookeeper Bookie 性能调优

Bookie 性能调优可以从以下几个方面入手：