Spider & Information Extractor
requests:为人类设计的Http库,接口比urllib,httplib都简单。http://docs.python-requests.org/en/latest/
beautifulSoup:强大的html,xml解析工具,速度较慢。http://www.crummy.com/software/BeautifulSoup/
goose:网页信息提取工具,可以提取网页title,meta,正文。https://github.com/grangier/python-goose
cx-extractor:简单但效果不错的正文提取工具。https://code.google.com/p/cx-extractor/
Text Analysis & Machine Learning
jieba:目前最好的中文切词工具,可自己加载词典。https://github.com/fxsjy/jieba
gensim:为人类设计的 topic model 工具,可以转换文本到词向量,学习topic model,而且提供了word2vector接口。http://radimrehurek.com/gensim/index.html
word2vector:词向量机器学习工具,使用了deep learning进行训练。https://code.google.com/p/word2vec/
scikit-learn:python机器学习库。http://scikit-learn.org/stable/
xgboost:很好的boost库。https://github.com/tqchen/xgboost/