TF-IDF 关键词提取实战
从手算到 sklearn 到 jieba.analyse 的三代实现
项目背景
理解向量空间模型这一稀疏检索的始祖。
我的职责
独立实现。
技术栈
核心难点与方案
- 纯 Python 复现 TF-IDF 并与 sklearn 结果对拍
- fit_transform / transform 的数据泄漏陷阱验证
成果
- 作为 BM25 的知识铺垫,理解 IDF 的概率直觉
从手算到 sklearn 到 jieba.analyse 的三代实现
理解向量空间模型这一稀疏检索的始祖。
独立实现。