From 9587af9c909e7a6e799b663c4d5be4b50f68382e Mon Sep 17 00:00:00 2001
From: ax_rd <ax_rd@aisim.cn>
Date: Thu, 03 Sep 2026 09:19:38 +0800
Subject: [PATCH] fix: 迁移版本写入时序 + VACUUM INTO 备份 + 触发器回归测试
---
internal/index/migrations_test.go | 115 ++++++++++++++++++++++++++++++++++++++
internal/index/migrations.go | 33 +++++++----
2 files changed, 136 insertions(+), 12 deletions(-)
diff --git a/internal/index/migrations.go b/internal/index/migrations.go
index 25955b0..85dce28 100644
--- a/internal/index/migrations.go
+++ b/internal/index/migrations.go
@@ -35,7 +35,10 @@
return nil
}
-// backupDB 迁移前备份 .db 文件（已有备份则跳过）
+// backupDB 迁移前备份 .db 文件（已有备份则跳过）。
+// 用 VACUUM INTO 而非 os.ReadFile：WAL 模式下未 checkpoint 的数据在
+// -wal 文件里，直读主文件会漏掉这部分，导致备份不一致；VACUUM INTO
+// 会合并 WAL 生成一份完整的独立库文件（SQLite 3.27+）。
func (s *Store) backupDB() error {
if s.dbPath == "" {
return nil // 无路径信息时跳过备份（测试场景）
@@ -44,23 +47,19 @@
if _, err := os.Stat(dst); err == nil {
return nil // 已有备份
}
- data, err := os.ReadFile(s.dbPath)
- if err != nil {
- return err
- }
- return os.WriteFile(dst, data, 0644)
+ _, err := s.db.Exec(`VACUUM INTO ?`, dst)
+ return err
}
-// migrateV1toV2 执行 v1 → v2 的全部变更
+// migrateV1toV2 执行 v1 → v2 的全部变更。
+// 注意：版本号（schema_versions）必须在最后一步（FTS 重建）成功后才写入，
+// 否则中途失败时后续 Open 会读到 version=2 直接早退，半迁移状态无法重试。
func (s *Store) migrateV1toV2() error {
- // 1. schema_versions 表
+ // 1. schema_versions 表（只建表，版本号推迟到最后写入）
if _, err := s.db.Exec(`CREATE TABLE IF NOT EXISTS schema_versions (
key TEXT PRIMARY KEY, value TEXT NOT NULL)`); err != nil {
return err
}
- if _, err := s.db.Exec(`INSERT OR REPLACE INTO schema_versions VALUES ('version', '2')`); err != nil {
- return err
- }
// 2. nodes 加列（逐列检查，幂等）
for _, col := range []struct{ name, def string }{
@@ -107,7 +106,17 @@
if err := s.CreateFTS(); err != nil {
return err
}
- return s.PopulateFTS()
+ if err := s.PopulateFTS(); err != nil {
+ return err
+ }
+
+ // 6. 最后一步：全部成功后才写入版本号（参数化，引用常量 currentSchemaVersion）。
+ // 提前写入会导致中途失败时后续 Open 读到 version=2 直接早退，半迁移状态无法重试。
+ if _, err := s.db.Exec(`INSERT OR REPLACE INTO schema_versions VALUES ('version', ?)`,
+ currentSchemaVersion); err != nil {
+ return err
+ }
+ return nil
}
// nodeColumnExists 检查 nodes 表是否已有指定列
diff --git a/internal/index/migrations_test.go b/internal/index/migrations_test.go
index 2dd4328..5f9ab8e 100644
--- a/internal/index/migrations_test.go
+++ b/internal/index/migrations_test.go
@@ -5,6 +5,8 @@
"os"
"path/filepath"
"testing"
+
+ "github.com/aisim/kb-cli/internal/graph"
)
// newV1Store 手工构建一个 v1 schema 的老库（模拟迁移前状态）
@@ -99,6 +101,119 @@
}
}
+// TestMigrateVersionNotWrittenOnFailure 验证版本写入时序：
+// 若 FTS 重建中途失败，schema_versions 中不得出现 version='2'
+// （否则后续 Open 读到 version=2 直接早退，半迁移状态无法重试）。
+// 手法：把 v1 库的 nodes.content_fts 列改名，FTS5 external-content
+// 建表引用不存在的列必然真实失败（CreateFTS 第 1 步即报错）。
+func TestMigrateVersionNotWrittenOnFailure(t *testing.T) {
+ store, _ := newV1Store(t)
+ defer store.Close()
+
+ // 破坏 content 表：content_fts 列改名，使 FTS external-content 建表失败
+ if _, err := store.db.Exec(`ALTER TABLE nodes RENAME COLUMN content_fts TO content_x`); err != nil {
+ t.Fatal(err)
+ }
+
+ if err := store.migrate(); err == nil {
+ t.Fatal("migrate 应返回 FTS 建表失败错误, 实际成功")
+ }
+
+ // 失败后版本号必须未写入（行不存在）
+ var v string
+ err := store.db.QueryRow(`SELECT value FROM schema_versions WHERE key='version'`).Scan(&v)
+ if err == nil {
+ t.Fatalf("迁移失败后版本号不应写入, 实际写入了: %s", v)
+ }
+ if err != sql.ErrNoRows {
+ t.Fatalf("查询版本行出错: %v", err)
+ }
+}
+
+// TestBackupWALConsistent 验证备份一致性：WAL 模式未 checkpoint 的
+// 新增数据必须包含在 .bak 里（VACUUM INTO 合并 WAL；旧的
+// ReadFile 直读主文件做不到）。
+func TestBackupWALConsistent(t *testing.T) {
+ store, dbPath := newV1Store(t)
+ defer store.Close()
+
+ // 通过活动连接插入一条数据，停留在未 checkpoint 的 WAL 中
+ if _, err := store.db.Exec(`INSERT INTO nodes (path, title, content_fts)
+ VALUES ('WAL/002-新节点.md', 'walnode', 'wal数据')`); err != nil {
+ t.Fatal(err)
+ }
+
+ if err := store.backupDB(); err != nil {
+ t.Fatalf("backupDB: %v", err)
+ }
+ // .bak 必须是合法 SQLite 库且包含 WAL 中未 checkpoint 的数据
+ db, err := sql.Open("sqlite3", dbPath+".bak")
+ if err != nil {
+ t.Fatal(err)
+ }
+ defer db.Close()
+ var n int
+ if err := db.QueryRow(`SELECT COUNT(*) FROM nodes WHERE path='WAL/002-新节点.md'`).Scan(&n); err != nil {
+ t.Fatal(err)
+ }
+ if n != 1 {
+ t.Fatalf("备份缺少 WAL 未 checkpoint 数据 (count=%d)", n)
+ }
+}
+
+// TestFTSTriggers FTS 增删改触发器回归测试：
+// 新建库 → 插节点 → FTS 可查 → UPDATE 改内容 → 新词可查/旧词不可查 → DELETE → 不可查。
+// 注意：unicode61 分词下 CJK 连续串是整串 token，故用英文词验证触发器行为。
+func TestFTSTriggers(t *testing.T) {
+ store, err := Open(filepath.Join(t.TempDir(), "kb-fts.db"))
+ if err != nil {
+ t.Fatal(err)
+ }
+ defer store.Close()
+
+ // INSERT 触发器：新插节点立即可被 FTS 查到
+ id, err := store.InsertNode(&graph.Node{
+ Path: "TRG/001.md",
+ Title: "trigger node",
+ Content: "alpha omega",
+ })
+ if err != nil {
+ t.Fatal(err)
+ }
+ if got := store.ftsMatchCount(t, "alpha"); got != 1 {
+ t.Fatalf("INSERT 后 FTS 应查到 1 条 alpha, 实际 %d", got)
+ }
+
+ // UPDATE 触发器：改内容后新词可查、旧词不可查
+ if _, err := store.db.Exec(`UPDATE nodes SET content_fts=? WHERE id=?`, "beta delta", id); err != nil {
+ t.Fatal(err)
+ }
+ if got := store.ftsMatchCount(t, "beta"); got != 1 {
+ t.Fatalf("UPDATE 后 FTS 应查到 1 条 beta, 实际 %d", got)
+ }
+ if got := store.ftsMatchCount(t, "alpha"); got != 0 {
+ t.Fatalf("UPDATE 后旧词 alpha 应不可查, 实际 %d 条", got)
+ }
+
+ // DELETE 触发器：删节点后 FTS 不可查
+ if _, err := store.db.Exec(`DELETE FROM nodes WHERE id=?`, id); err != nil {
+ t.Fatal(err)
+ }
+ if got := store.ftsMatchCount(t, "beta"); got != 0 {
+ t.Fatalf("DELETE 后 FTS 不应查到 beta, 实际 %d 条", got)
+ }
+}
+
+// ftsMatchCount 统计 FTS 虚拟表中匹配 term 的文档数（测试辅助）
+func (s *Store) ftsMatchCount(t *testing.T, term string) int {
+ t.Helper()
+ var n int
+ if err := s.db.QueryRow(`SELECT COUNT(*) FROM nodes_fts WHERE nodes_fts MATCH ?`, term).Scan(&n); err != nil {
+ t.Fatalf("FTS MATCH %q: %v", term, err)
+ }
+ return n
+}
+
// 测试辅助：列检查
func (s *Store) nodeColumns(t *testing.T) map[string]bool {
t.Helper()
--
Gitblit v1.10.0