腾讯云正在自研一套全新的高性能传输协议

12 月 21 日消息，在常见的 TCP / IP 协议、RoCE 协议之外，腾讯云正在自研一套全新的高性能传输合同 HARP。借助这套合同，数据中心内部可以轻松支持 10000 + 节点的大规模组网，以及微秒级“复活”故障网路，实现 0 断链。

HARP 是一个完全自研的数据中心高性能传输合同。在保证端到端数据报文可靠传输的同时，HARP 可以为下层应用提供高可用、高可扩充、高性能的网路传输服务。

市面上早已有各种各样的网路传输合同，腾讯云为何从 0 到 1 开始自研新的传输合同呢？主要诱因是，随着应用规模和需求的不断发展，数据中心网路的可靠性和性能面临着巨大的挑战，之前的合同逐渐难以满足现有业务的发展。

首先，可靠性上，数据中心内部的交换机不可避免地会出现亚健康状况，这种状况轻则促使业务的响应延时降低，重则造成业务超时断链。其次，性能上，带宽敏感型应用、时延敏感的应用与日俱增，而且数据中心应用的布署规模越来越大，集合通讯场景下常常会形成大量的并发的数据传输，这对现有网路传输合同的可扩展性提出了更大的要求。

因此，腾讯须要重新设计一套新的传输合同，既能满足下层应用对于高可用网路传输的要求，又能提供高带宽、低信噪比的数据传输服务，还能保持在大规模布署下的网路性能。

HARP 主要有三高特点：

技术上怎样实现的

1、粒度可配置的共享联接，最大支持 10000 + 节点组网

为了满足多种业务环境的使用需求（裸金属，VM，CBS 等）和大规模组网要求，HARP 支持裸联接、VM 级共享、主机级共享等细度的联接模式。通过共享联接，HARP 可以急剧降低联接数目，降低硬件实现的资源消耗，实现高度的可扩展性，轻松支持 10000 + 级节点的大规模组网。

2、软硬件事务分离，提供 200Gbps 最高性能输出

HARP 采用软硬件分层的事务层和可靠传输层设计，分工明晰：硬件负责须要高效和可靠传输的报文级事务；软件部份则提供高度灵活、贴合业务特点需求的消息处理，而不占用有限的硬件资源。

最终，HARP 可以支持在 10000 + 节点的网路规模的业务中，提供 200Gbps 的最高性能输出，对于 AI 训练、键值储存、分布式大数据应用等场景具有奇特价值。

3、自研拥塞控制算法，让消息完成时间中位数增加 35%

HARP 采用自研的串扰控制算法 PEAD，精确地感知网路串扰，在维持高吞吐的同时，保证网络流的通畅。相较于 TCP，HARP 消息完成时间的中位数减少了 35%，同时保证 99% 数据包的网路排队信噪比减少 90%。

4、确定性多路径传输、实现微秒级路径切换

腾讯云 HARP 协议吸收包括 TCP 和 UDP 的优势，通过自研的报文编号方案追踪每位报文的发送和接收状态，HARP 以极低开支支持正序接收和选择性重传，保证了报文的可靠传输。

同时，HARP 通过确定性多路径传输和微秒级路径切换，为下层应用提供高可用网路服务。

HARP 在每位联接内采用多路径传输，每条路径有独立的串扰侦测能力。基于自研拥塞控制算法优良的网路控制和感知能力，HARP 的路径管理模块会按照路径的串扰情况进行调度，快速可靠地测量到路径故障，并在 100 微秒时间内重新侦测一条新的可用路径，保证在单个交换机故障时的断链机率为 0。相比起 TCP 遭遇故障的典型重连恢复时间（约为 1s），HARP 减少了 99.9%。

HARP 最初是面向储存与高性能估算的场景而设计，目前也早已落地在腾讯的云硬盘（CBS）与弹性 RDMA（EFI）业务中。作为一个高性能的通讯基座，HARP 可以被应用于数据中心对网路性能要求较高的业务中，比如 AI 训练、键值储存、分布式大数据应用等。

当前腾讯云的工程师还正在不断地建立其高性能通信库，包括使用 Socket、IB Verbs、libfabric、UCX 等通讯插口接入 HARP 传输合同，从而不断扩大 HARP 的生态