package search

// containsCJK 是否含 CJK 统一表意文字
func containsCJK(s string) bool {
	for _, r := range s {
		if r >= 0x4E00 && r <= 0x9FFF {
			return true
		}
	}
	return false
}

// ExpandCJKKeywords 关键词展开（search 与 explore 共享）：CJK 长词（>3 字符）
// 拆成 bigram 滑动窗口（FTS5 unicode61 把连续中文当整串单 token，长复合词整串
// LIKE 匹配不到；文档里 "电子秤补气失败" 通常不是连续子串，bigram 才能命中）。
// 原词保留（段落命中判断时原词更精确）。末尾去重保序（原词在前、展开词在后）。
func ExpandCJKKeywords(keywords []string) []string {
	var out []string
	for _, kw := range keywords {
		out = append(out, kw)
		if containsCJK(kw) && len([]rune(kw)) > 3 {
			runes := []rune(kw)
			for i := 0; i+1 < len(runes); i++ {
				bg := string(runes[i : i+2])
				out = append(out, bg)
			}
		}
	}
	// 去重保序（原词在前、展开词在后）：避免 bigram 与原词重复时 text 分重复计权
	var dedup []string
	seen := make(map[string]bool, len(out))
	for _, kw := range out {
		if !seen[kw] {
			seen[kw] = true
			dedup = append(dedup, kw)
		}
	}
	return dedup
}