| | |
|---|
| | | } |
|---|
| | | } |
|---|
| | | } |
|---|
| | | return out |
|---|
| | | // 去重保序（原词在前、展开词在后）：避免 bigram 与原词重复时 text 分重复计权 |
|---|
| | | var dedup []string |
|---|
| | | seen := make(map[string]bool, len(out)) |
|---|
| | | for _, kw := range out { |
|---|
| | | if !seen[kw] { |
|---|
| | | seen[kw] = true |
|---|
| | | dedup = append(dedup, kw) |
|---|
| | | } |
|---|
| | | } |
|---|
| | | return dedup |
|---|
| | | } |
|---|
| | | |
|---|
| | | // ExploreOptions explore 参数 |
|---|
| | | type ExploreOptions struct { |
|---|
| | | Budget int // 字节预算（0 = 用配置默认） |
|---|
| | | TopN int // 0 = 用配置默认 |
|---|
| | | Budget int // 字节预算（0 = 用配置默认） |
|---|
| | | TopN int // 0 = 用配置默认 |
|---|
| | | HardBudget int // 字节硬上限（0 = 用代码缺省 32000） |
|---|
| | | } |
|---|
| | | |
|---|
| | | // ExploredDoc 入选文档及其输出正文 |
|---|
| | |
|---|
| | | budget = 16000 // 代码缺省（config 读取在 cmd 层完成） |
|---|
| | | } |
|---|
| | | if budget > 32000 { |
|---|
| | | budget = 32000 // 硬上限 |
|---|
| | | budget = 32000 // 硬上限缺省 |
|---|
| | | } |
|---|
| | | // 配置显式给出的硬上限优先（cmd 层读 config.yaml 的 explore.hard_budget） |
|---|
| | | if cfg.HardBudget > 0 && budget > cfg.HardBudget { |
|---|
| | | budget = cfg.HardBudget |
|---|
| | | } |
|---|
| | | topN := cfg.TopN |
|---|
| | | if topN <= 0 { |
|---|
| | |
|---|
| | | if err != nil || content == "" { |
|---|
| | | continue |
|---|
| | | } |
|---|
| | | // 两级回退：先用原词提取（精确）；原词在任何段落都不连续出现时 |
|---|
| | | //（复合 CJK 词常见：bigram 召回了文档，但原词不连续）回退到展开词提取， |
|---|
| | | // 避免大文档被 continue 静默丢弃、最终输出「未找到相关文档」。 |
|---|
| | | body := extractRelevantParagraphs(content, keywords, perDoc) |
|---|
| | | if body == "" { |
|---|
| | | body = extractRelevantParagraphs(content, searchKeywords, perDoc) |
|---|
| | | } |
|---|
| | | if body == "" { |
|---|
| | | // 无命中段落但文档入选 → 整篇（若放得下），否则跳过 |
|---|
| | | if len(content) <= perDoc { |
|---|
| | | body = content |
|---|
