From b554c303193aa5d22af5f8a4b91430077113e6db Mon Sep 17 00:00:00 2001
From: ax_rd <ax_rd@aisim.cn>
Date: Thu, 03 Sep 2026 13:21:36 +0800
Subject: [PATCH] fix: search 长 CJK 词 bigram 展开统一下沉（ExpandCJKKeywords 共享 + textScore 按 Expanded 档计权 + graph query 边 provenance 填充）
---
internal/search/explore.go | 48 +++++++++++++++---------------------------------
1 files changed, 15 insertions(+), 33 deletions(-)
diff --git a/internal/search/explore.go b/internal/search/explore.go
index 7ff127e..c0cb05d 100644
--- a/internal/search/explore.go
+++ b/internal/search/explore.go
@@ -68,39 +68,11 @@
return extractRelevantParagraphs(content, keywords, budget)
}
-// containsCJK 是否含 CJK 统一表意文字
-func containsCJK(s string) bool {
- for _, r := range s {
- if r >= 0x4E00 && r <= 0x9FFF {
- return true
- }
- }
- return false
-}
-
-// expandKeywords 关键词展开：CJK 长词（>3 字符）拆成 bigram 滑动窗口
-// （FTS5 unicode61 把连续中文当整串单 token，长复合词整串 LIKE 匹配不到；
-// 文档里 "电子秤补气失败" 通常不是连续子串，bigram 才能命中）。
-// 原词保留（段落命中判断时原词更精确）。
-func expandKeywords(keywords []string) []string {
- var out []string
- for _, kw := range keywords {
- out = append(out, kw)
- if containsCJK(kw) && len([]rune(kw)) > 3 {
- runes := []rune(kw)
- for i := 0; i+1 < len(runes); i++ {
- bg := string(runes[i : i+2])
- out = append(out, bg)
- }
- }
- }
- return out
-}
-
// ExploreOptions explore 参数
type ExploreOptions struct {
- Budget int // 字节预算（0 = 用配置默认）
- TopN int // 0 = 用配置默认
+ Budget int // 字节预算（0 = 用配置默认）
+ TopN int // 0 = 用配置默认
+ HardBudget int // 字节硬上限（0 = 用代码缺省 32000）
}
// ExploredDoc 入选文档及其输出正文
@@ -125,13 +97,17 @@
return nil, nil
}
// 段落命中用原词（精确），FTS/LIKE 检索用展开后的 bigram
- searchKeywords := expandKeywords(keywords)
+ searchKeywords := ExpandCJKKeywords(keywords)
budget := cfg.Budget
if budget <= 0 {
budget = 16000 // 代码缺省（config 读取在 cmd 层完成）
}
if budget > 32000 {
- budget = 32000 // 硬上限
+ budget = 32000 // 硬上限缺省
+ }
+ // 配置显式给出的硬上限优先（cmd 层读 config.yaml 的 explore.hard_budget）
+ if cfg.HardBudget > 0 && budget > cfg.HardBudget {
+ budget = cfg.HardBudget
}
topN := cfg.TopN
if topN <= 0 {
@@ -158,8 +134,14 @@
if err != nil || content == "" {
continue
}
+ // 两级回退：先用原词提取（精确）；原词在任何段落都不连续出现时
+ //（复合 CJK 词常见：bigram 召回了文档，但原词不连续）回退到展开词提取，
+ // 避免大文档被 continue 静默丢弃、最终输出「未找到相关文档」。
body := extractRelevantParagraphs(content, keywords, perDoc)
if body == "" {
+ body = extractRelevantParagraphs(content, searchKeywords, perDoc)
+ }
+ if body == "" {
// 无命中段落但文档入选 → 整篇（若放得下），否则跳过
if len(content) <= perDoc {
body = content
--
Gitblit v1.10.0