v6.5 CE Release Notes
# 1. v6.5.5 [2024/04/24]
# 1.1 Beta Features
- AutoTracing、AutoMetrics
- 新增 ZeroMQ ZMTP 协议的解析能力,文档见此。
- Distributed Tracing 中 NET Span 的父子逻辑优化。
- Agent
- 支持远程升级 K8s 中的 deepflow-agent,文档见此。
# 1.2 Stable Features
- AutoTracing、AutoMetrics
# 2. v6.5.4 [2024/04/10]
# 2.1 Backward Incompatible Change
- Agent
- 静态配置项
src-interfaces
合并至动态配置项tap_interface_regex
,降低 MACVlan、华为云 CCE Turbo 等场景下的配置复杂度。
- 静态配置项
# 2.2 Beta Features
- ✨ AI Copilot ✨
- 在 Grafana 中为 DeepFlow Topo 、DeepFlow Tracing Panel 增加
AskGPT
Copilot:Demo1 (opens new window)、Demo2 (opens new window),目前支持的大模型有 GPT4、通义千问、文心一言、ChatGLM。
- 在 Grafana 中为 DeepFlow Topo 、DeepFlow Tracing Panel 增加
- AutoTracing、AutoMetrics
- 新增 bRPC 协议的解析能力,文档见此。
# 2.3 Stable Features
- Agent
- HTTP2 哈夫曼解码性能提升,在限定 deepflow-agent 1 逻辑核的情况下,极限 TPS 采集性能提升 5 ~ 25 倍,测试数据见下表。
随机 Header 数 | 版本 | Agent CPU | Agent Memory | TPS |
---|---|---|---|---|
3 | OLD | 96% | 34 MB | 10K |
NEW | 97% | 94 MB | 50K | |
12 | OLD | 89% | 9 MB | 1.2K |
NEW | 93% | 112 MB | 30K |
# 3. v6.5.3 [2024/03/26]
# 3.1 Beta Features
- AutoTracing、AutoMetrics
# 3.2 Stable Features
- AutoMetrics
- 网络指标改名:建连-客户端 SYN 结束(
client_syn_repeat
)改名为建连-服务端 SYN 缺失(server_syn_miss
),并被算入服务端异常
。 - 网络指标改名:建连-服务端 SYN 结束(
server_syn_repeat
)改名为建连-客户端 ACK 缺失(client_ack_miss
),并被算入客户端异常
。
- 网络指标改名:建连-客户端 SYN 结束(
- AutoTagging
- 支持自定义采集 HTTP/HTTP2/gRPC 头部字段并存储于调用日志的
attribute.$field_name
字段中,详见文档。
- 支持自定义采集 HTTP/HTTP2/gRPC 头部字段并存储于调用日志的
- Server
- SQL API:加速 Delay 和 BoundedGauge 类型指标量的 Percentile 算子,将编译后的 ClickHouse SQL 层数降低到一层。
- Agent
- 默认开启系统负载熔断机制,当系统负载与 CPU 核数的比例超过
system_load_circuit_breaker_threshold
时 Agent 触发熔断机制自动进入禁用状态,详见 Agent 配置样例。当 Agent 进入熔断状态时,从 deepflow-ctl agent list 结果中中可以看到SYSTEM_LOAD_CIRCUIT_BREAKER
的异常码。
- 默认开启系统负载熔断机制,当系统负载与 CPU 核数的比例超过
[xy@node100 ~]# deepflow-ctl agent list
ID NAME TYPE CTRL_IP CTRL_MAC STATE GROUP EXCEPTIONS REVISION
100 lh-2-zqy-10.50.100.82-W1721 CHOST_VM 10.50.100.82 00:50:56:b3:2f:30 NORMAL default SYSTEM_LOAD_CIRCUIT_BREAKER B_LC_RELEASE_v6_4 4575
109 master100-V2 K8S_VM 10.1.20.100 00:16:3e:36:cb:79 NORMAL default B_LC_RELEASE_v6_4 4611
1
2
3
4
2
3
4
# 4. v6.5.2 [2024/03/12]
# 4.1 Beta Features
- AutoMetrics
- 网络指标改名:建连-客户端 SYN 结束(
client_syn_repeat
)改名为建连-服务端 SYN 缺失(server_syn_miss
),并被算入服务端异常
。 - 网络指标改名:建连-服务端 SYN 结束(
server_syn_repeat
)改名为建连-客户端 ACK 缺失(client_ack_miss
),并被算入客户端异常
。
- 网络指标改名:建连-客户端 SYN 结束(
# 4.2 Stable Features
- AutoTracing、AutoMetrics
- 新增 RabbitMQ AMQP 协议的解析能力,文档见此。
- 将 MySQL 单向消息(
CLOSE
、QUIT
)的日志类型直接标记为会话。 - 支持提取 Kafka 协议头中的
correlation_id
为x_request_id_0/1
,自动追踪 Request-Response 模式的 Kafka 调用链(感谢h453693821
:FR (opens new window))。
- AutoTagging
- 增强 Kafka 解析能力:支持将
topic_name
提取为endpoint
。 - 网络流日志中增加
request_domain
字段,与应用指标、调用日志自动关联。 - 所有数据增加容器节点主 IP(
pod_node_ip
)和主机名(pod_node_hostname
)标签。 - 所有数据增加云服务器主 IP(
chost_ip
)和主机名(chost_hostname
)标签。 - 应用指标和调用日志增加业务类型(
biz_type
)标签,可配合 Wasm Plugin 使用标识业务类型。 - 指标(
flow_metrics.network_map
、flow_metrics.application_map
)中不再将广域网服务端聚合为 0.0.0.0。 - 指标(
flow_metrics.network_map
、flow_metrics.application_map
)中不再将无任何标签的私有 IP 地址(192.168/172.16/10/169.254)标记为广域网。
- 增强 Kafka 解析能力:支持将
- Agent
- 优化 Redis 和 MySQL 协议解析性能:优化后 Agent 1CPU 300MB 内存可采集 5W TPS MySQL 或 Redis 流量。
- Server
- ClickHouse 表名和字段名修改,见下表(废弃名依然可使用,但将会在一年后的大版本中停用)。
flow_metrics
中数据表名称修改:
旧名称 | 新名称 | 数据作用 |
---|---|---|
vtap_app_port | application | 所有服务的应用性能指标 |
vtap_app_edge_port | application_map | 所有应用访问关系及其性能指标 |
vtap_flow_port | network | 所有服务的网络性能指标 |
vtap_flow_edge_port | network_map | 所有网络访问关系及其性能指标 |
vtap_acl | traffic_policy | 网络策略指标(仅企业版) |
字段名的修改:
旧名称 | 新名称 | 数据作用 |
---|---|---|
vtap | agent | Agent |
vtap_id | agent_id | Agent ID |
tap_side | observation_point | 观测点 |
tap | capture_network_type | 网络位置(仅企业版) |
tap_port | capture_nic | 采集网卡标识 |
tap_port_name | capture_nic_name | 采集网卡名称 |
tap_port_type | capture_nic_type | 采集网卡类型 |
tap_port_host | capture_nic_host | 采集网卡所属宿主机(仅企业版) |
tap_port_chost | capture_nic_chost | 采集网卡所属云服务器 |
tap_port_pod_node | capture_nic_pod_node | 采集网卡所属容器节点 |
# 5. v6.5.1 [2024/02/27]
# 5.1 Beta Features
- AutoTracing、AutoMetrics
- 新增 RabbitMQ AMQP 协议的解析能力,文档见此。
- 新增 ActiveMQ OpenWire 协议的解析能力,文档见此。
- 将 MySQL 单向消息(
CLOSE
、QUIT
)的日志类型直接标记为会话。 - 支持提取 Kafka 协议头中的
correlation_id
为x_request_id_0/1
,自动追踪 Request-Response 模式的 Kafka 调用链(感谢h453693821
:FR (opens new window))。
- AutoTagging
- 增强 Kafka 解析能力:支持将
topic_name
提取为endpoint
。 - 网络流日志中增加
request_domain
字段,与应用指标、调用日志自动关联。 - 所有数据增加容器节点主 IP(
pod_node_ip
)和主机名(pod_node_hostname
)标签。 - 所有数据增加云服务器主 IP(
chost_ip
)和主机名(chost_hostname
)标签。
- 增强 Kafka 解析能力:支持将
- ClickHouse 表名和字段名修改,见下表(废弃名依然可使用,但将会在未来版本中停用)。
flow_metrics
中数据表名称修改:
旧名称 | 新名称 | 数据作用 |
---|---|---|
vtap_app_port | application | 所有服务的应用性能指标 |
vtap_app_edge_port | application_map | 所有应用访问关系及其性能指标 |
vtap_flow_port | network | 所有服务的网络性能指标 |
vtap_flow_edge_port | network_map | 所有网络访问关系及其性能指标 |
vtap_acl | traffic_policy | 网络策略指标(仅企业版) |
字段名的修改:
旧名称 | 新名称 | 数据作用 |
---|---|---|
vtap | agent | Agent |
vtap_id | agent_id | Agent ID |
tap_side | observation_point | 观测点 |
tap | capture_network_type | 网络位置(仅企业版) |
tap_port | capture_nic | 采集网卡标识 |
tap_port_name | capture_nic_name | 采集网卡名称 |
tap_port_type | capture_nic_type | 采集网卡类型 |
tap_port_host | capture_nic_host | 采集网卡所属宿主机(仅企业版) |
tap_port_chost | capture_nic_chost | 采集网卡所属云服务器 |
tap_port_pod_node | capture_nic_pod_node | 采集网卡所属容器节点 |
# 5.2 Stable Features
- AutoTracing
- 增强对位于 SQL 语句注释中 TraceID、SpanID 的提取能力,文档见此。
- AutoTagging
- FastCGI、MQTT、DNS 协议支持提取
endpoint
字段,文档见此。 - A/AAAA 类型的 DNS 调用日志中,将
QNAME
提取为request_domain
。
- FastCGI、MQTT、DNS 协议支持提取
- 部署
# 6. v6.5.0 [2024/02/06]
N/A