LOGO 首页 OA教程 ERP教程 模切知识交流 PMS教程 CRM教程 技术文档 其他文档  
 
网站管理员

同事使用 insert into select 迁移数据,开开心心上线,上线后被公司开除!

admin
2026年11月20日 14:20 本文热度 470
INSERT INTO SELECT 这条 SQL,我见过不少人用来迁移数据。

写起来确实爽,不用 Java 循环,不用一条条查询再插入,数据库自己就能把数据搬过去。几百万条数据,可能一条 SQL 就搞定了。

但有个问题:SQL 执行成功,不代表数据迁移成功,更不代表迁移没有影响线上业务。

假设公司有一张用户订单表,需要把历史订单迁移到归档表。同事觉得这事很简单,直接写了下面的 SQL:

INSERT INTO order_archive
SELECT *
FROM order_info
WHERE create_time < '2025-01-01';

执行成功,返回影响行数,检查了几条数据也没发现问题。

于是提交代码,部署上线,下班前还跟大家说了一句:数据迁移已经搞定了。

第二天,业务部门反馈:部分订单查不到了,财务对账也出现了差异。

这时候再回头看那条 SQL,就没那么简单了。

先说明一下,下面是一个典型的生产事故推演,并非某个真实同事被开除的实录。真正值得讨论的是,这种看起来很普通的 SQL,为什么可能把线上系统带进沟里。

先看最常见的问题:SELECT *。

源表和目标表看起来结构相同,但不代表字段顺序、字段含义、默认值永远一致。

假设源表有 order_id、user_id、amount、status 四个字段,归档表后来增加了一个 archive_status 字段。如果迁移脚本还依赖隐式字段匹配,就可能直接报错;如果目标表字段顺序不同,也可能发生更隐蔽的错误。

我写迁移 SQL,一般不喜欢 SELECT *。字段明确写出来,至少以后有人改表结构时,不至于让迁移逻辑跟着猜。

INSERT INTO order_archive (
    order_id,
    user_id,
    amount,
    status
)
SELECT
    order_id,
    user_id,
    amount,
    status
FROM order_info
WHERE create_time < '2025-01-01';

这段代码仍然有前提:目标表的字段定义、约束和业务含义必须匹配。

别把字段对上了,就当数据一定对了。比如金额单位、状态编码、逻辑删除标记,这些字段最容易在迁移时出问题。

迁移任务最怕什么?

不是第一次执行失败,而是第一次执行成功了,没人确认;第二次又执行一遍。

比如任务运行到一半,应用连接断开,Java 程序收到超时异常。开发人员看到失败日志,顺手重新点了一次执行。

问题是,客户端超时不代表数据库事务一定失败。第一次操作究竟提交了没有,需要查清楚。

如果没有唯一约束,也没有幂等设计,第二次执行就可能把相同订单再次写入归档表。

Java 里经常能看到这种写法:

try {
    archiveMapper.moveOldOrders(cutoffTime);
} catch (Exception e) {
    log.error("订单迁移失败,准备重试", e);
    archiveMapper.moveOldOrders(cutoffTime);
}

这段代码的问题很明显:异常发生后,没确认第一次操作的结果,就直接重试。

至少应该先明确迁移任务的事务边界、目标表唯一键,以及失败后如何核对数据。不能把数据库操作当成普通 HTTP 请求,失败了就再发一次。

对于有唯一业务键的归档表,可以通过唯一索引和数据库支持的幂等写入方式降低重复风险。但要注意,简单地忽略重复键也不一定正确:如果两次迁移的数据内容不同,你可能把数据冲突掩盖掉。

这才是我更担心的地方。

INSERT INTO SELECT 并不是天然危险,但数据量很大时,它可能长时间占用数据库资源,增加锁等待、磁盘 I/O 和日志写入压力。

如果迁移操作和线上业务共用数据库,归档任务一跑,订单查询、写入、更新都可能受到影响。

特别是 MySQL,不同隔离级别、执行计划、索引和表结构,对这类语句的具体影响也不同,不能简单地说它一定锁表,也不能觉得它只是一次普通插入。

上线前,我至少会看一下执行计划:

EXPLAIN
SELECT
    order_id,
    user_id,
    amount,
    status
FROM order_info
WHERE create_time < '2025-01-01';

重点检查时间条件有没有合理使用索引,以及预计扫描的数据量是否可接受。

如果历史数据规模很大,我通常更倾向于按主键分批迁移,而不是直接让一条 SQL 一口气跑完。

Java 里可以先按主键范围分批处理,示意代码如下:

long lastId = checkpointRepository.getLastOrderId();
long batchEnd = lastId;

while (true) {
    List<Long> ids = orderRepository.findNextIds(
        lastId, 1000
    );

    if (ids.isEmpty()) {
        break;
    }

    batchEnd = ids.get(ids.size() - 1);

    archiveService.archiveBatch(lastId, batchEnd);

    checkpointRepository.saveLastOrderId(batchEnd);
    lastId = batchEnd;
}

这里有个细节不能省:archiveBatch() 和检查点更新必须设计好事务关系,否则可能出现数据已经迁移、检查点没更新,或者检查点前进了、数据却没写成功的情况。

而且,分批并不等于绝对安全。迁移期间如果源表还在被修改,就需要明确数据边界、并发写入处理方式,以及最终校验机制。

很多人做数据迁移,判断成功的标准只有一个:SQL 没报错。

这个标准太低了。

至少应该核对迁移范围、记录数量、业务主键,以及关键金额字段的汇总情况。

例如:

SELECT
    COUNT(*) AS order_count,
    SUM(amount) AS total_amount
FROM order_info
WHERE create_time < '2025-01-01';

目标表也执行对应的统计,再对比两边结果。

不过,数量和金额相等,只能说明部分指标一致,不能证明每条数据都正确。更稳妥的方式是继续按主键范围核对缺失记录、重复记录和关键字段差异。

如果归档后还要删除源数据,那就更不能图省事。

先迁移、再校验、最后删除,这三个动作必须有明确的顺序。没有完成校验之前,不应该因为归档 SQL 返回成功,就直接清理源表。

另外,迁移任务最好有独立的执行记录,至少记下批次号、起止主键、处理数量、失败原因和校验结果。出了问题,才能知道到底哪一批数据出了问题,而不是面对一张大表从头猜起。

说到底,INSERT INTO SELECT 本身没有错。

错的是把数据库执行成功,当成了业务迁移成功;把一次性脚本,当成了不需要回滚、不需要校验的普通代码。

至于标题里说的开除,现实里是否会走到这一步,取决于事故影响、操作权限和责任认定,不能因为一条 SQL 就直接下结论。

但有一点我很确定:生产环境里的数据迁移,真正值钱的不是那条 SQL 写得多快,而是出了问题,你能不能说清楚迁了什么、漏了什么、怎么恢复。


阅读原文:原文链接


该文章在 2026/11/20 16:22:44 编辑过
关键字查询
相关文章
正在查询...
点晴ERP是一款针对中小制造业的专业生产管理软件系统,系统成熟度和易用性得到了国内大量中小企业的青睐。
点晴PMS码头管理系统主要针对港口码头集装箱与散货日常运作、调度、堆场、车队、财务费用、相关报表等业务管理,结合码头的业务特点,围绕调度、堆场作业而开发的。集技术的先进性、管理的有效性于一体,是物流码头及其他港口类企业的高效ERP管理信息系统。
点晴WMS仓储管理系统提供了货物产品管理,销售管理,采购管理,仓储管理,仓库管理,保质期管理,货位管理,库位管理,生产管理,WMS管理系统,标签打印,条形码,二维码管理,批号管理软件。
点晴免费OA是一款软件和通用服务都免费,不限功能、不限时间、不限用户的免费OA协同办公管理系统。
Copyright 2010-2026 ClickSun All Rights Reserved  粤ICP备13012886号-1  粤公网安备44030602007207号