From 60eb89c12ee0661785395bff90940204b16dcb3a Mon Sep 17 00:00:00 2001
From: ax_rd <ax_rd@aisim.cn>
Date: Thu, 03 Sep 2026 13:21:39 +0800
Subject: [PATCH] docs: e2e 验证脚本 + README 更新（增量同步/explore/构建要求）
---
internal/search/explore.go | 40 +---------------------------------------
1 files changed, 1 insertions(+), 39 deletions(-)
diff --git a/internal/search/explore.go b/internal/search/explore.go
index 9645fe8..c0cb05d 100644
--- a/internal/search/explore.go
+++ b/internal/search/explore.go
@@ -68,44 +68,6 @@
return extractRelevantParagraphs(content, keywords, budget)
}
-// containsCJK 是否含 CJK 统一表意文字
-func containsCJK(s string) bool {
- for _, r := range s {
- if r >= 0x4E00 && r <= 0x9FFF {
- return true
- }
- }
- return false
-}
-
-// expandKeywords 关键词展开：CJK 长词（>3 字符）拆成 bigram 滑动窗口
-// （FTS5 unicode61 把连续中文当整串单 token，长复合词整串 LIKE 匹配不到；
-// 文档里 "电子秤补气失败" 通常不是连续子串，bigram 才能命中）。
-// 原词保留（段落命中判断时原词更精确）。
-func expandKeywords(keywords []string) []string {
- var out []string
- for _, kw := range keywords {
- out = append(out, kw)
- if containsCJK(kw) && len([]rune(kw)) > 3 {
- runes := []rune(kw)
- for i := 0; i+1 < len(runes); i++ {
- bg := string(runes[i : i+2])
- out = append(out, bg)
- }
- }
- }
- // 去重保序（原词在前、展开词在后）：避免 bigram 与原词重复时 text 分重复计权
- var dedup []string
- seen := make(map[string]bool, len(out))
- for _, kw := range out {
- if !seen[kw] {
- seen[kw] = true
- dedup = append(dedup, kw)
- }
- }
- return dedup
-}
-
// ExploreOptions explore 参数
type ExploreOptions struct {
Budget int // 字节预算（0 = 用配置默认）
@@ -135,7 +97,7 @@
return nil, nil
}
// 段落命中用原词（精确），FTS/LIKE 检索用展开后的 bigram
- searchKeywords := expandKeywords(keywords)
+ searchKeywords := ExpandCJKKeywords(keywords)
budget := cfg.Budget
if budget <= 0 {
budget = 16000 // 代码缺省（config 读取在 cmd 层完成）
--
Gitblit v1.10.0