`
jayghost
  • 浏览: 430006 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

mahout将文本数据转化成向量形式

阅读更多

对于文本信息的向量化,Mahout 已经提供了工具类,它基于 Lucene 给出了对文本信息进行分析,然后创建文本向量。mahout提供下面两个命令来将文本转成向量形式(转化成向量后可以聚类):
1.mahout seqdirectory:将文本文件转成SequenceFile文件,SequenceFile文件是一种二制制存储的key-value键值对,对应的源文件是org.apache.mahout.text.SequenceFilesFromDirectory.java

2.mahout seq2sparse:将SequenceFile转成向量文件,对应的源文件是org.apache.mahout.vectorizer.SparseVectorsFromSequenceFiles.java

我是将mahout源码导入到eclipse中,对以上的两个源文件分别进行运行(运行时必须配置参数,有输入、输出、字符编码)转化的,生成的向量文件目录结构是:
df-count 目录:保存着文本的频率信息 
tf-vectors 目录:保存着以 TF 作为权值的文本向量 
tfidf-vectors 目录:保存着以 TFIDF 作为权值的文本向量 
tokenized-documents 目录:保存着分词过后的文本信息 
wordcount 目录:保存着全局的词汇出现的次数 
dictionary.file-0 目录:保存着这些文本的词汇表 
frequcency-file-0 目录 : 保存着词汇表对应的频率信息。

查看转化结果:

mahout seqdumper:将SequenceFile文件转成文本形式,对应的源文件是org.apache.mahout.utils.SequenceFileDumper.java
mahout vectordump:将向量文件转成可读的文本形式,对应的源文件是org.apache.mahout.utils.vectors.VectorDumper.java
mahout clusterdump:分析最后聚类的输出结果,对应的源文件是org.apache.mahout.utils.clustering.ClusterDumper.java具体每种命令如何用及参数如何选择,在命令行后面加-h或-help可以查看

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics