数据挖掘相关的python库



Spider & Information Extractor


requests:为人类设计的Http库,接口比urllib,httplib都简单。http://docs.python-requests.org/en/latest/

beautifulSoup:强大的html,xml解析工具,速度较慢。http://www.crummy.com/software/BeautifulSoup/

goose:网页信息提取工具,可以提取网页title,meta,正文。https://github.com/grangier/python-goose

cx-extractor:简单但效果不错的正文提取工具。https://code.google.com/p/cx-extractor/

Text Analysis & Machine Learning


jieba:目前最好的中文切词工具,可自己加载词典。https://github.com/fxsjy/jieba

gensim:为人类设计的 topic model 工具,可以转换文本到词向量,学习topic model,而且提供了word2vector接口。http://radimrehurek.com/gensim/index.html

word2vector:词向量机器学习工具,使用了deep learning进行训练。https://code.google.com/p/word2vec/

scikit-learn:python机器学习库。http://scikit-learn.org/stable/

xgboost:很好的boost库。https://github.com/tqchen/xgboost/