21天驯化AI打工仔 - 如何存储10亿个Symbol?
前言
第一天,我们讨论了如何从Tushare获取OHLC(开盘价、最高价、最低价、收盘价)数据和调整因子(adj_factor)。当时我们存储的数据结构如下:```python
{
"timestamp": "时间戳",
"ts_code": "股票代码",
"ohlc": {
"ts_code": "股票代码",
"open": "开盘价",
"high": "最高价",
"low": "最低价",
"close": "收盘价",
"vol": "成交量"
},
"adj_factor": {
"ts_code": "股票代码",
"trade_date": "交易日期",
"adj_factor": "复权因子"
}
}
```现在,我们需要设计一种通用的数据交换格式(Standard Quotes Exchange Protocol, SQEP)。这种格式的工作原理是:由数据生产者(因为只有生产者才了解原始数据的具体格式)将数据转换为这种标准格式,然后再将其推送到Redis中供消费者使用。 1. SQEP-BAR-DAY 日线场景下的数据交换格式SQEP-BAR-DAY 是标准行情交换协议(Standard Quotes Exchange Protocol)中用于日线数据的格式规范。该格式设计用于在不同系统组件间高效传输和处理股票日线数据,确保数据的一致性和互操作性。 1.1. 字段定义SQEP-BAR-DAY 包含以下标准字段:| 字段名 | 数据类型 | 说明 |
|
2025-05-14