← ClaudeAtlas

dolphindb-datayes-importlisted

将通联历史数据文件自动导入 DolphinDB 数据库(DolphinX 版,运行于 DolphinDB Web 平台,全 dos 流程)
dolphindb/DolphinX_Skill · ★ 8 · Data & Documents · score 57
Install: claude install-skill dolphindb/DolphinX_Skill
# 通联历史数据导入 — DolphinX 版 将通联(DataYes)高频历史行情数据文件自动导入 DolphinDB 分布式数据库。本 skill 运行于 **DolphinDB Web 平台**,全部操作通过 `.dos` 脚本在服务端完成。支持 CSV 及 ZIP 格式的数据文件。 ## 执行要求 加载本文件后,**立即从步骤 1 开始执行,不要额外确认**。每个步骤的结果直接驱动下一步。所有需要在服务器执行的内容都通过 dos 脚本完成,无需收集连接信息(Web 平台已登录)。 ## 执行步骤 ### 1. 环境检查与前置准备 **必须先调用 `check-env` 技能**完成以下工作: 1. **zip 插件检查**:检查 DolphinDB 是否已加载 zip 插件,未加载则自动安装并加载 2. **easy_datayes 模块上传**:将 `scripts/DolphinDBModules/easy_datayes/` 下的 22 个模块源文件通过 `uploadModule()` 写入 DolphinDB 服务端 **判断逻辑:** - **check-env 执行成功**:继续下一步 - **check-env 执行失败**:终��流程,向用户展示 check-env 输出的错误信息 ### 2. 收集机器信息并推荐并行度 在 DolphinDB Web 平台执行:`scripts/machine_info_collection.dos` 脚本行为: - 读取 `maxMemSize` / `license()['maxMemoryPerNode']` / `maxBatchJobWorker` / `license()['maxCoresPerNode']` - 按以下逻辑计算推荐并行度: - 内存约束:`min(maxMemSize, maxMemoryPerNode) / 2 / 8`(安全内存的一半,按 8GB/任务) - 并发约束:`min(maxBatchJobWorker, maxCoresPerNode)` - 最终推荐:取两者较小值(最小为 1) - 输出形如 `RECOMMENDED_PARALLEL=<数值>` 的标识行 **从执行结果中匹配 `RECOMMENDED_PARALLEL=` 行提取数值**,作为下一步的推荐并行度。 ### 3. 收集数据导入参数 使用 `AskUserQuestion` 向用户询问: - **文件路径**:CSV 或 ZIP 文件存储的绝对路径(示例:`/hdd/hdd1/feb2023_csv`) - **数据类型**:`tl_snapshot`(快照)/ `tl_trade`(成交)/ `tl_entrust`(委托)/ `tl_tick`(TICK合并)/ `tl_order_queue`(委托队列) - **起始日期**:DATE 格式(示例:`2023.02.01`) - **结束日期**:DATE 格式(示例:`2023.02.01`) - **数据库名称**:DolphinDB 数据库路径(默认值:`dfs://TL_Level2`) - **数据表名称**:各数据类型对应的表名,按 `数据类型=表名` 格式填写,多个用分号隔开(默认值:`tl_snapshot=snapshot;tl_trade=trade;tl_entrust=entrust;tl_tick=tick;tl_order_queue=order