From d5b774a9ad3548eb1ab196d6cdb9bd2d033df9c5 Mon Sep 17 00:00:00 2001 From: xu Date: Tue, 4 Nov 2025 15:09:42 +0800 Subject: [PATCH] =?UTF-8?q?=E7=A4=BE=E6=8B=9B=E6=96=B0=E5=91=98=E5=B7=A5?= =?UTF-8?q?=E6=95=B0=E6=8D=AE=E8=BF=81=E7=A7=BB=E3=80=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- sql/20251115/数据迁移SQL脚本.sql | 215 +++++++++++++++++++++++++++++++ sql/20251115/数据迁移方案文档.md | 187 +++++++++++++++++++++++++++ 2 files changed, 402 insertions(+) create mode 100644 sql/20251115/数据迁移SQL脚本.sql create mode 100644 sql/20251115/数据迁移方案文档.md diff --git a/sql/20251115/数据迁移SQL脚本.sql b/sql/20251115/数据迁移SQL脚本.sql new file mode 100644 index 00000000..b8d5afd5 --- /dev/null +++ b/sql/20251115/数据迁移SQL脚本.sql @@ -0,0 +1,215 @@ +-- 数据迁移SQL（项目与报名） +-- 执行顺序： +-- 1.1 查看项目数据量 +-- 1.2 预览项目数据 +-- 1.3 迁移项目信息 +-- 1.4 验证项目迁移结果 +-- 2.1 查看报名数据量（按项目ID） +-- 2.2 预览报名数据 +-- 2.3 获取新项目ID +-- 2.4 写入报名数据（使用新项目ID） +-- 2.5 验证报名迁移结果 + +-- 任务1：项目数据迁移（eln_boe_mixture_project -> boe_new.project_info），条件：is_deleted='0' AND program_name='社招新员工在线入职学习' +-- 步骤1.1：查看符合条件的数据量（执行前验证） +SELECT COUNT(*) AS data_count +FROM elearninglms.eln_boe_mixture_project +WHERE is_deleted = '0' + AND program_name = '社招新员工在线入职学习'; + +-- 步骤1.2：查看要迁移的数据详情（执行前验证） +SELECT * +FROM elearninglms.eln_boe_mixture_project +WHERE is_deleted = '0' + AND program_name = '社招新员工在线入职学习'; + +-- 步骤1.3：执行数据迁移（INSERT INTO ... SELECT） +INSERT INTO boe_new.project_info ( + name, + pic_url, + type, + begin_time, + end_time, + manager_id, + remark, + status, + num_value, + introduction, + new_type, + deleted, + unlock_mode, + rank_flag, + attach_switch, + bpm_flag, + load_flag, + create_time, + create_id, + update_time, + update_id +) +SELECT + p.program_name AS name, + p.theme_url AS pic_url, + 1 AS type, -- 项目类别固定为1 + CASE + WHEN p.open_start_time IS NOT NULL AND p.open_start_time > 0 + THEN FROM_UNIXTIME(p.open_start_time) + WHEN p.start_time IS NOT NULL AND p.start_time > 0 + THEN FROM_UNIXTIME(p.start_time) + ELSE NULL + END AS begin_time, + CASE + WHEN p.open_end_time IS NOT NULL AND p.open_end_time > 0 + THEN FROM_UNIXTIME(p.open_end_time) + WHEN p.end_time IS NOT NULL AND p.end_time > 0 + THEN FROM_UNIXTIME(p.end_time) + ELSE NULL + END AS end_time, + p.project_manager_id AS manager_id, + COALESCE(p.program_desc, p.program_desc_nohtml, '') AS remark, + CASE + WHEN p.status = '0' THEN 0 -- 临时 → 草稿 + WHEN p.status = '1' THEN 1 -- 正常 → 已发布 + WHEN p.status = '2' THEN -1 -- 停用 → 已结束 + ELSE 0 + END AS status, + p.program_code AS num_value, + COALESCE(p.program_desc_nohtml, p.program_desc, '') AS introduction, + 2 AS new_type, -- 学习项目 + 0 AS deleted, -- 未删除 + 1 AS unlock_mode, -- 自由模式 + 0 AS rank_flag, -- 不显示积分排行榜 + 1 AS attach_switch, -- 共享文档开启 + 0 AS bpm_flag, -- 报名审批关闭 + 0 AS load_flag, -- 下载成绩关闭 + FROM_UNIXTIME(p.created_at) AS create_time, + CAST(p.created_by AS UNSIGNED) AS create_id, + FROM_UNIXTIME(COALESCE(p.updated_at, p.created_at)) AS update_time, + CAST(COALESCE(p.updated_by, p.created_by) AS UNSIGNED) AS update_id +FROM elearninglms.eln_boe_mixture_project p +WHERE p.is_deleted = '0' + AND p.program_name = '社招新员工在线入职学习' + AND NOT EXISTS ( + -- 防止重复插入：如果项目名称已存在则跳过 + SELECT 1 + FROM boe_new.project_info pi + WHERE pi.name = p.program_name + AND pi.deleted = 0 + ); + +-- 步骤1.4：验证迁移结果 +SELECT + COUNT(*) AS migrated_count, + name, + status, + begin_time, + end_time +FROM boe_new.project_info +WHERE name = '社招新员工在线入职学习' + AND deleted = 0 +GROUP BY name, status, begin_time, end_time; + +-- 任务2：项目报名数据迁移（eln_boe_mixture_project_enroll -> boe_base.boe_study_course） +-- 迁移全部报名数据（包括已删除记录，按 is_deleted 映射状态） + +-- 步骤2.1：查看符合条件的数据量（执行前验证） +-- 注意：需要先将 '123xxx' 替换为实际的项目ID（kid） +SELECT COUNT(*) AS enroll_count +FROM elearninglms.eln_boe_mixture_project_enroll +WHERE program_id = '123xxx'; -- 请替换为实际的项目ID（kid） + +-- 步骤2.2：查看要迁移的数据详情（执行前验证） +SELECT * +FROM elearninglms.eln_boe_mixture_project_enroll +WHERE program_id = '123xxx' -- 请替换为实际的项目ID（kid） +LIMIT 100; + +-- 步骤2.3：获取新项目ID +SET @new_project_id = ( + SELECT id FROM boe_new.project_info + WHERE name = '社招新员工在线入职学习' AND deleted = 0 + ORDER BY id DESC LIMIT 1 +); + +-- 步骤2.4：写入报名数据（使用新项目ID） +INSERT INTO boe_base.boe_study_course ( + course_id, + course_type, + course_name, + aid, + aname, + source, + add_time, + start_time, + last_score, + status, + progress, + remark +) +SELECT + pi.id AS course_id, -- 使用新项目表的自增ID + 90 AS course_type, + COALESCE(pi.name, p.program_name, '') AS course_name, + e.user_id AS aid, + COALESCE(u.real_name, '') AS aname, + CASE + WHEN e.enroll_method = 'self' THEN 1 + WHEN e.enroll_method = 'admin' THEN 2 + WHEN e.enroll_method = 'manager' THEN 3 + ELSE 1 + END AS source, + FROM_UNIXTIME(e.enroll_time) AS add_time, + FROM_UNIXTIME(e.enroll_time) AS start_time, + NULL AS last_score, + CASE + WHEN e.enroll_type = '1' AND e.approved_state = '1' AND e.is_deleted = '0' THEN 2 + WHEN e.enroll_type = '3' THEN 8 + WHEN e.cancel_state = '1' THEN 8 + WHEN e.is_deleted = '1' THEN 8 + ELSE 1 + END AS status, + 0 AS progress, + CONCAT('迁移自项目报名表，报名ID：', e.kid) AS remark +FROM elearninglms.eln_boe_mixture_project_enroll e +LEFT JOIN elearninglms.eln_boe_mixture_project p + ON e.program_id = p.kid +LEFT JOIN boe_new.project_info pi + ON p.program_name = pi.name AND pi.deleted = 0 +LEFT JOIN elearninglms.eln_fw_user u + ON e.user_id = u.kid +WHERE e.program_id = '123xxx' -- 请替换为实际的项目ID（kid） + AND pi.id = @new_project_id -- 使用新项目ID + AND NOT EXISTS ( + SELECT 1 + FROM boe_base.boe_study_course sc + WHERE sc.course_id = @new_project_id + AND sc.aid = e.user_id + ); + +-- 步骤2.5：验证迁移结果 +SELECT + COUNT(*) AS migrated_count, + status, + COUNT(CASE WHEN last_score IS NOT NULL THEN 1 END) AS has_score_count +FROM boe_base.boe_study_course +WHERE course_id = @new_project_id +GROUP BY status; + +-- 回滚SQL +-- 回滚步骤R1：确认新项目ID（如变量丢失可重新获取） +--SET @new_project_id = ( +-- SELECT id FROM boe_new.project_info +-- WHERE name = '社招新员工在线入职学习' AND deleted = 0 +-- ORDER BY id DESC LIMIT 1 +--); +-- +---- 回滚步骤R2：回滚报名数据（按备注标记，仅删除本次迁移写入的数据） +--DELETE FROM boe_base.boe_study_course +--WHERE course_id = @new_project_id +-- AND remark LIKE '迁移自项目报名表%'; +-- +---- 回滚步骤R3：回滚项目信息（谨慎执行，确认仅影响本次迁移记录） +--DELETE FROM boe_new.project_info +--WHERE id = @new_project_id +-- AND name = '社招新员工在线入职学习' +-- AND deleted = 0; diff --git a/sql/20251115/数据迁移方案文档.md b/sql/20251115/数据迁移方案文档.md new file mode 100644 index 00000000..05d60811 --- /dev/null +++ b/sql/20251115/数据迁移方案文档.md @@ -0,0 +1,187 @@ +# 数据迁移方案文档 + +## 一、迁移概述 + +本次迁移涉及两个数据迁移任务： +1. **项目数据迁移**：从 `elearninglms.eln_boe_mixture_project` 迁移到 `boe_new.project_info` +2. **项目报名数据迁移**：从 `elearninglms.eln_boe_mixture_project_enroll` 迁移到 `boe_base.boe_study_course` + +--- + +## 二、任务1：项目数据迁移 + +### 2.1 迁移信息 + +- **源表**：`elearninglms.eln_boe_mixture_project` +- **目标表**：`boe_new.project_info` +- **迁移条件**：`is_deleted='0'` AND `program_name='社招新员工在线入职学习'` + +### 2.2 字段映射关系 + +| 源表字段 | 目标表字段 | 说明 | 转换规则 | +|---------|-----------|------|---------| +| `kid` | - | 项目ID（varchar） | 不直接映射，目标表id为自增 | +| `program_name` | `name` | 项目名称 | 直接映射 | +| `program_desc` | `remark` | 项目描述/说明 | 直接映射 | +| `theme_url` | `pic_url` | 封面图地址 | 直接映射 | +| `start_time` / `open_start_time` | `begin_time` | 开始时间 | 优先使用 `open_start_time`，空则用 `start_time`，需转换为 timestamp | +| `end_time` / `open_end_time` | `end_time` | 结束时间 | 优先使用 `open_end_time`，空则用 `end_time`，需转换为 timestamp | +| `project_manager_id` | `manager_id` | 项目经理ID | 直接映射 | +| `status` | `status` | 状态 | 需要转换：'0'→0(草稿), '1'→1(已发布), '2'→-1(已结束) | +| `created_at` | `create_time` | 创建时间 | 需转换为 timestamp | +| `created_by` | `create_id` | 创建人ID | 需转换为 bigint | +| `updated_at` | `update_time` | 更新时间 | 需转换为 timestamp | +| `updated_by` | `update_id` | 更新人ID | 需转换为 bigint | +| `program_code` | `num_value` | 项目编号 | 直接映射 | +| `program_desc` / `program_desc_nohtml` | `introduction` | 项目介绍 | 优先使用 `program_desc_nohtml` | + +### 2.3 默认值设置 + +- `type`: 1（项目类别） +- `new_type`: 2（学习项目） +- `deleted`: 0（未删除） +- `unlock_mode`: 1（自由模式） +- `rank_flag`: 0（不显示积分排行榜） +- `attach_switch`: 1（共享文档开启） +- `bpm_flag`: 0（报名审批关闭） +- `load_flag`: 0（下载成绩关闭） + +### 2.4 注意事项 + +1. 目标表的 `id` 字段为自增主键，无需手动设置 +2. 时间字段需要从 int（时间戳）转换为 timestamp +3. 状态字段需要根据源表的值进行映射转换 +4. 如果源表中存在多条符合条件的记录，需要确认是否全部迁移或仅迁移最新的一条 + +--- + +## 三、任务2：项目报名数据迁移 + +### 3.1 迁移信息 + +- **源表**：`elearninglms.eln_boe_mixture_project_enroll` +- **目标表**：`boe_base.boe_study_course` +- **迁移条件**：`program_id='123xxx'`（注意：实际执行时需要替换为真实的项目ID） +- **重要说明**：**迁移全部报名数据，包括已删除的记录（is_deleted='1'）**。已删除的记录在状态映射时会被标记为"终止"状态（status=8） + +### 3.2 字段映射关系 + +| 源表字段 | 目标表字段 | 说明 | 转换规则 | +|---------|-----------|------|---------| +| `program_id` | `course_id` | 项目ID（作为课程ID） | 直接映射 | +| `user_id` | `aid` | 学员ID | 直接映射 | +| - | `last_score` | 学习成绩 | 初始设置为 NULL，后续需要从成绩表关联更新 | +| `enroll_type` + `approved_state` | `status` | 完成状态 | 根据业务规则映射（见下方） | +| `enroll_time` | `add_time` | 加入时间（报名时间） | 需转换为 datetime | +| `enroll_time` | `start_time` | 开始学习时间 | 需转换为 datetime | + +### 3.3 状态映射规则 + +根据 `boe_study_course` 表的 status 定义： +- `STATUS_NOSTUDY = 1`（未开始学习） +- `STATUS_STUDYING = 2`（学习中） +- `STATUS_ABORTED = 8`（终止） +- `STATUS_FINISH = 9`（学习完成） + +**状态映射逻辑**： +```sql +CASE + WHEN enroll_type = '1' AND approved_state = '1' AND is_deleted = '0' THEN 2 -- 报名成功且审批同意 → 学习中 + WHEN enroll_type = '3' THEN 8 -- 拒绝报名 → 终止 + WHEN cancel_state = '1' THEN 8 -- 取消审批同意 → 终止 + WHEN is_deleted = '1' THEN 8 -- 已删除 → 终止 + ELSE 1 -- 其他情况 → 未开始 +END AS status +``` + +### 3.4 其他字段设置 + +- `course_type`: 需要根据项目类型设置（默认为项目类型对应的课程类型） +- `course_name`: 需要关联项目表获取项目名称 +- `aname`: 需要关联用户表获取学员姓名 +- `source`: 根据 `enroll_method` 映射（'self'→1, 'admin'→2, 'manager'→3） +- `progress`: 初始设置为 0 或 NULL +- `last_score`: 初始设置为 NULL，需要后续从成绩表更新 + +### 3.5 注意事项 + +1. **学习成绩（last_score）**：源表中没有直接的成绩字段，需要： + - 方案A：从其他成绩表（如 `eln_ln_examination_result_user`）关联获取 + - 方案B：先设置为 NULL，后续通过业务逻辑更新 + +2. **完成状态（status）**：需要根据业务逻辑判断，当前映射规则仅供参考，实际使用时需要根据业务需求调整 + +3. **项目ID替换**：SQL中的 `'123xxx'` 需要替换为实际的项目ID + +4. **数据去重**：确保 `(course_id, aid)` 组合的唯一性，避免重复插入 + +5. **关联查询**：可能需要关联用户表获取学员姓名等信息 + +6. **全部数据迁移**：本次迁移会包含所有符合条件的报名记录，包括已删除的记录。已删除的记录会根据 `is_deleted='1'` 映射为终止状态（status=8） + +--- + +## 四、执行步骤 + +### 4.1 执行前准备 + +1. **备份数据**：执行迁移前，务必备份源表和目标表 +2. **验证条件**：确认迁移条件是否正确（特别是项目名称和项目ID） +3. **数据检查**：检查源表中符合条件的数据量 +4. **环境确认**：确认目标数据库连接和权限 + +### 4.2 执行顺序 + +1. **先执行任务1**：迁移项目数据 +2. **获取新项目ID**：记录迁移后的项目ID（如果需要） +3. **更新任务2的SQL**：将项目ID替换为实际值 +4. **执行任务2**：迁移项目报名数据 + +### 4.3 执行后验证 + +1. **数据量核对**：对比源表和目标表的记录数 +2. **关键字段验证**：抽查关键字段是否正确迁移 +3. **业务功能验证**：在系统中验证迁移后的数据是否正常 + +--- + +## 五、风险评估与回滚方案 + +### 5.1 风险点 + +1. **数据量**：如果数据量较大，可能影响系统性能 +2. **字段类型不匹配**：时间戳转换、状态值转换可能出错 +3. **数据完整性**：关联字段可能缺失或无效 +4. **业务逻辑**：状态映射规则可能与实际业务不符 + +### 5.2 回滚方案 + +1. **备份恢复**：使用备份数据恢复目标表 +2. **删除迁移数据**：根据迁移条件删除已迁移的数据 +3. **数据修复**：手动修复错误的数据 + +--- + +## 六、附录 + +### 6.1 相关表结构 + +- `elearninglms.eln_boe_mixture_project`：源项目表 +- `boe_new.project_info`：目标项目表 +- `elearninglms.eln_boe_mixture_project_enroll`：源报名表 +- `boe_base.boe_study_course`：目标课程学习表 + +### 6.2 状态值对照表 + +**项目状态映射**： +- '0'（临时）→ 0（草稿） +- '1'（正常）→ 1（已发布） +- '2'（停用）→ -1（已结束） + +**学习状态映射**： +- 1：未开始学习 +- 2：学习中 +- 8：终止 +- 9：学习完成 + +--- \ No newline at end of file