杨钰铭用户3583
RPC 压缩设计与实现文档
输入“/”快速插入内容
RPC 压缩设计与实现文档
RPC 压缩设计与实现文档
用户3583用户3583
用户7302用户73022025年7月28日修改
功能概述
本功基于 TsFile编码器和压缩器，通过对 RPC请求中的时间戳和数值列应用列式编码，并结合数据压缩技术，减低 TSInsertTabletReq请求的数据体积，从而显著提升了 RPC 通信的数据传输效率。
在使用过程中，用户可以在新建 Session时选择是否启用 RPC压缩，并可以指定每种数据类型的编码方式和压缩方式。如果用户未明确指定，系统将自动使用默认配置进行处理。
功能包括
1.
Tablet 编码器解码器
◦
根据数据类型和编码方式对 Tablet 进行编解码以及压缩解压缩；
2.
RPC 压缩
◦
数据传输过程中，需要向接收方告知每一列的编码方式。
◦
支持用户指定数据列的编码方式
功能设计
一、新增参数
新建 Session时，通过 builder 设置模式指定是否开启压缩，还支持指定每种数据类型的编码方式。
代码块
// sessionBuilder 中维护与 RPC 相关的信息
public abstract class AbstractSessionBuilder {
// 是否启用 RPC 压缩
public Boolean isCompressed = false;
// 存储不同类型数据的编码方式
public HashMap<TSDataType, EncodingType> dataTypeToEncodingMap；
// 压缩方式
public CompressType compressType;
{
columnEncodersMap = new HashMap<>();
columnEncodersMap.put(TSDataType.TIMESTAMP, TSEncoding.TS_2DIFF);
columnEncodersMap.put(TSDataType.BOOLEAN, TSEncoding.RLE);
columnEncodersMap.put(TSDataType.INT32, TSEncoding.TS_2DIFF);
columnEncodersMap.put(TSDataType.INT64, TSEncoding.TS_2DIFF);
columnEncodersMap.put(TSDataType.FLOAT, TSEncoding.GORILLA);
columnEncodersMap.put(TSDataType.DOUBLE, TSEncoding.GORILLA);
columnEncodersMap.put(TSDataType.DATE, TSEncoding.TS_2DIFF);
columnEncodersMap.put(TSDataType.STRING, TSEncoding.PLAIN);
columnEncodersMap.put(TSDataType.TEXT, TSEncoding.PLAIN);
columnEncodersMap.put(TSDataType.BLOB, TSEncoding.PLAIN);
}
...
}
TSInsertTabletReq 结构体（为例），通过在 RPC 请求中添加下面的 3 个字段，将编码和压缩方式传递到服务端。
代码块
struct TSInsertTabletReq {
1: required i64 sessionId
2: required string prefixPath
3: required list<string> measurements
4: required binary values
5: required binary timestamps
6: required list<i32> types
7: required i32 size
8: optional bool isAligned
9: optional bool writeToTable
10: optional list<byte> columnCategories
11: optional bool isCompressed // 指定是否开启压缩
12：optional list<i32> encodingTypes // 指定每列数据的编码类型
13：optional i32 compressType // 指定压缩方式
}