在互联网软件开发过程中，每日向 MySQL 数据库导入 100 万条数据时，频繁出现锁表现象导致业务查询阻塞的情况，是众多开发人员面临的共性问题。本文将深入分析该问题的成因，并提供切实可行的解决方案。

100 万条数据引发 MySQL 锁表的核心原因

MySQL 在处理大量数据导入时发生锁表，本质上是资源竞争与处理能力不匹配的结果，具体可从以下三方面解析：

• 锁机制的升级机制：InnoDB 引擎默认采用行级锁，但当导入操作未命中索引（如执行全表扫描）时，行级锁会升级为表级锁。100 万条数据的一次性导入会使事务长期占用表级锁，导致其他请求进入等待队列，超出等待阈值后即表现为锁表。
• 长事务的资源占用：若数据导入操作在单个事务中执行，事务未提交前会持续持有锁资源。对于 100 万条数据的导入，事务执行时间可能长达数十分钟，期间表处于锁定状态，直接阻塞后续业务查询。
• 系统资源的过载：大规模数据写入会导致磁盘 IO 负载激增，同时数据库连接数可能达到上限，新请求无法建立连接，最终呈现出类似锁表的 “假死” 状态。

解决 100 万条数据导入锁表的三大方案

方案一：分批导入数据

将 100 万条数据拆分为小批次进行导入，可有效降低数据库瞬时压力，减少锁表概率。

实施步骤：

1. 利用脚本工具（如 Python）将数据源（CSV/Excel 格式）按每批 1 万条或 5000 条进行拆分，具体批次大小可根据服务器性能调整。
2. 每完成一批数据导入后，立即提交事务以释放锁资源，并在批次间隔设置 0.5-1 秒的休眠时间，为数据库预留处理间隙。

代码示例（Python）：

import pandas as pd
import pymysql
import time

conn = pymysql.connect(host='localhost', user='root', password='xxx', db='test')
chunk_size = 10000  # 每批导入1万条数据
for chunk in pd.read_csv('data.csv', chunksize=chunk_size):
    data = [tuple(row) for row in chunk.values]
    cursor = conn.cursor()
    cursor.executemany("INSERT INTO table (col1, col2) VALUES (%s, %s)", data)
    conn.commit()  # 每批数据导入后提交事务
    time.sleep(0.5)  # 批次间休眠0.5秒

注意事项：

• 批次大小需根据服务器内存配置调整，避免因单批数据量过大导致内存溢出。
• 导入前可通过删除当天数据或使用INSERT IGNORE语句，避免数据重复导入。

方案二：SQL 语句与索引优化

通过优化 SQL 语句及索引策略，可提升数据导入效率，缩短锁表时间。

SQL 语句优化：

• 采用批量插入语法INSERT INTO ... VALUES (...), (...), (...)替代单条插入，单次插入 1000 条数据的效率较 1000 次单条插入提升 10 倍以上，可减少网络交互及事务开销。
• 优先使用LOAD DATA INFILE命令，该命令为 MySQL 原生高速导入工具，导入效率较普通INSERT语句提升 5-10 倍，且锁表持续时间更短。示例如下：

LOAD DATA INFILE '/tmp/data.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;  # 跳过表头行

索引优化策略：

1. 导入前删除非主键索引（如执行DROP INDEX idx_name ON table），仅保留主键索引以避免数据重复。
2. 数据导入完成后，重新创建索引（如CREATE INDEX idx_name ON table (col)）。

原理：索引维护会增加数据写入的开销（每条数据插入需同步更新索引树），临时删除索引可降低 60% 的写入耗时，从而减少锁表风险。

方案三：MySQL 配置参数调优

合理调整 MySQL 配置参数，可提升数据库对大规模数据导入的承载能力。

注意事项：配置修改后需重启 MySQL 服务生效，且所有参数调整需在测试环境验证，通过 100 万条数据导入压测，观察 CPU、内存及 IO 性能指标的变化。

辅助优化技巧

• 错峰执行：选择业务低峰期（如凌晨 2-4 点）执行数据导入操作，可降低锁表对业务的影响。
• 分区表应用：当表数据量超过 1000 万条时，可采用按日期分区策略（如PARTITION BY RANGE (TO_DAYS(date))），导入操作仅针对当天分区，不影响其他分区数据的访问。
• 监控与告警：通过 Prometheus+Grafana 监控锁表相关指标（如Innodb_row_lock_waits），设置阈值告警机制，确保异常情况可及时介入处理。

总结

解决 100 万条数据导入导致的 MySQL 锁表问题，核心在于 **“分散压力、提升效率、优化配置”**。实践中可优先采用分批导入策略（实施难度低、效果显著），逐步结合LOAD DATA INFILE命令及索引优化，最终通过配置调优实现性能提升，可解决 90% 以上的锁表问题。

若在实际操作中遇到 “分批导入仍出现锁表” 等特殊情况，或有其他优化经验，欢迎在评论区交流分享。如需进一步参考，可收藏本文以便后续查阅。