| | |
|---|
| | | return extractRelevantParagraphs(content, keywords, budget) |
|---|
| | | } |
|---|
| | | |
|---|
| | | // containsCJK 是否含 CJK 统一表意文字 |
|---|
| | | func containsCJK(s string) bool { |
|---|
| | | for _, r := range s { |
|---|
| | | if r >= 0x4E00 && r <= 0x9FFF { |
|---|
| | | return true |
|---|
| | | } |
|---|
| | | } |
|---|
| | | return false |
|---|
| | | } |
|---|
| | | |
|---|
| | | // expandKeywords 关键词展开：CJK 长词（>3 字符）拆成 bigram 滑动窗口 |
|---|
| | | // （FTS5 unicode61 把连续中文当整串单 token，长复合词整串 LIKE 匹配不到； |
|---|
| | | // 文档里 "电子秤补气失败" 通常不是连续子串，bigram 才能命中）。 |
|---|
| | | // 原词保留（段落命中判断时原词更精确）。 |
|---|
| | | func expandKeywords(keywords []string) []string { |
|---|
| | | var out []string |
|---|
| | | for _, kw := range keywords { |
|---|
| | | out = append(out, kw) |
|---|
| | | if containsCJK(kw) && len([]rune(kw)) > 3 { |
|---|
| | | runes := []rune(kw) |
|---|
| | | for i := 0; i+1 < len(runes); i++ { |
|---|
| | | bg := string(runes[i : i+2]) |
|---|
| | | out = append(out, bg) |
|---|
| | | } |
|---|
| | | } |
|---|
| | | } |
|---|
| | | return out |
|---|
| | | } |
|---|
| | | |
|---|
| | | // ExploreOptions explore 参数 |
|---|
| | | type ExploreOptions struct { |
|---|
| | | Budget int // 字节预算（0 = 用配置默认） |
|---|
| | | TopN int // 0 = 用配置默认 |
|---|
| | | Budget int // 字节预算（0 = 用配置默认） |
|---|
| | | TopN int // 0 = 用配置默认 |
|---|
| | | HardBudget int // 字节硬上限（0 = 用代码缺省 32000） |
|---|
| | | } |
|---|
| | | |
|---|
| | | // ExploredDoc 入选文档及其输出正文 |
|---|
| | |
|---|
| | | return nil, nil |
|---|
| | | } |
|---|
| | | // 段落命中用原词（精确），FTS/LIKE 检索用展开后的 bigram |
|---|
| | | searchKeywords := expandKeywords(keywords) |
|---|
| | | searchKeywords := ExpandCJKKeywords(keywords) |
|---|
| | | budget := cfg.Budget |
|---|
| | | if budget <= 0 { |
|---|
| | | budget = 16000 // 代码缺省（config 读取在 cmd 层完成） |
|---|
| | | } |
|---|
| | | if budget > 32000 { |
|---|
| | | budget = 32000 // 硬上限 |
|---|
| | | budget = 32000 // 硬上限缺省 |
|---|
| | | } |
|---|
| | | // 配置显式给出的硬上限优先（cmd 层读 config.yaml 的 explore.hard_budget） |
|---|
| | | if cfg.HardBudget > 0 && budget > cfg.HardBudget { |
|---|
| | | budget = cfg.HardBudget |
|---|
| | | } |
|---|
| | | topN := cfg.TopN |
|---|
| | | if topN <= 0 { |
|---|
| | |
|---|
| | | if err != nil || content == "" { |
|---|
| | | continue |
|---|
| | | } |
|---|
| | | // 两级回退：先用原词提取（精确）；原词在任何段落都不连续出现时 |
|---|
| | | //（复合 CJK 词常见：bigram 召回了文档，但原词不连续）回退到展开词提取， |
|---|
| | | // 避免大文档被 continue 静默丢弃、最终输出「未找到相关文档」。 |
|---|
| | | body := extractRelevantParagraphs(content, keywords, perDoc) |
|---|
| | | if body == "" { |
|---|
| | | body = extractRelevantParagraphs(content, searchKeywords, perDoc) |
|---|
| | | } |
|---|
| | | if body == "" { |
|---|
| | | // 无命中段落但文档入选 → 整篇（若放得下），否则跳过 |
|---|
| | | if len(content) <= perDoc { |
|---|
| | | body = content |
|---|
