| | |
|---|
| | | return extractRelevantParagraphs(content, keywords, budget) |
|---|
| | | } |
|---|
| | | |
|---|
| | | // containsCJK 是否含 CJK 统一表意文字 |
|---|
| | | func containsCJK(s string) bool { |
|---|
| | | for _, r := range s { |
|---|
| | | if r >= 0x4E00 && r <= 0x9FFF { |
|---|
| | | return true |
|---|
| | | } |
|---|
| | | } |
|---|
| | | return false |
|---|
| | | } |
|---|
| | | |
|---|
| | | // expandKeywords 关键词展开：CJK 长词（>3 字符）拆成 bigram 滑动窗口 |
|---|
| | | // （FTS5 unicode61 把连续中文当整串单 token，长复合词整串 LIKE 匹配不到； |
|---|
| | | // 文档里 "电子秤补气失败" 通常不是连续子串，bigram 才能命中）。 |
|---|
| | | // 原词保留（段落命中判断时原词更精确）。 |
|---|
| | | func expandKeywords(keywords []string) []string { |
|---|
| | | var out []string |
|---|
| | | for _, kw := range keywords { |
|---|
| | | out = append(out, kw) |
|---|
| | | if containsCJK(kw) && len([]rune(kw)) > 3 { |
|---|
| | | runes := []rune(kw) |
|---|
| | | for i := 0; i+1 < len(runes); i++ { |
|---|
| | | bg := string(runes[i : i+2]) |
|---|
| | | out = append(out, bg) |
|---|
| | | } |
|---|
| | | } |
|---|
| | | } |
|---|
| | | // 去重保序（原词在前、展开词在后）：避免 bigram 与原词重复时 text 分重复计权 |
|---|
| | | var dedup []string |
|---|
| | | seen := make(map[string]bool, len(out)) |
|---|
| | | for _, kw := range out { |
|---|
| | | if !seen[kw] { |
|---|
| | | seen[kw] = true |
|---|
| | | dedup = append(dedup, kw) |
|---|
| | | } |
|---|
| | | } |
|---|
| | | return dedup |
|---|
| | | } |
|---|
| | | |
|---|
| | | // ExploreOptions explore 参数 |
|---|
| | | type ExploreOptions struct { |
|---|
| | | Budget int // 字节预算（0 = 用配置默认） |
|---|
| | |
|---|
| | | return nil, nil |
|---|
| | | } |
|---|
| | | // 段落命中用原词（精确），FTS/LIKE 检索用展开后的 bigram |
|---|
| | | searchKeywords := expandKeywords(keywords) |
|---|
| | | searchKeywords := ExpandCJKKeywords(keywords) |
|---|
| | | budget := cfg.Budget |
|---|
| | | if budget <= 0 { |
|---|
| | | budget = 16000 // 代码缺省（config 读取在 cmd 层完成） |
|---|
