1. 拉取RSS/Atom 订阅 · 官方 JSON 接口 · 政府网政策检索 · HTML 列表页解析。并发 6 路,超时 15s,失败重试 2 次
2. 清洗去 HTML 标签、实体解码、UTF-8/GB18030 编码自动探测、字段归一
3. 过滤噪声词剔除 + 赛道相关度阈值,避免全站泛新闻污染
4. 分类六赛道加权关键词打分。泛词弱化(标题 ×0.55 / 正文 ×0.35),强前置(require)与强否定(veto)双层约束;垂类源(narrow)可豁免前置
5. 抽取厂商机构词典 + 地区词典 + 量化指标正则(PUE / EFLOPS / MW / 亿元 / 万卡 / 标准机架 / 单价)
6. 去重标题指纹 + 二元组 Dice 相似度 ≥0.78 判同一事件,多源命中记 corroboration 并加权
7. 排序重要度 = 关键词密度 34 + 源权重 26 + 信号词 14 + 实体密度 16 + 时效 10