对于文本信息的向量化,Mahout 已经提供了工具类,它基于 Lucene 给出了对文本信息进行分析,然后创建文本向量。mahout提供下面两个命令来将文本转成向量形式(转化成向量后可以聚类):
1.mahout seqdirectory:将文本文件转成SequenceFile文件,SequenceFile文件是一种二制制存储的key-value键值对,对应的源文件是org.apache.mahout.text.SequenceFilesFromDirectory.java
2.mahout seq2sparse:将SequenceFile转成向量文件,对应的源文件是org.apache.mahout.vectorizer.SparseVectorsFromSequenceFiles.java
我是将mahout源码导入到eclipse中,对以上的两个源文件分别进行运行(运行时必须配置参数,有输入、输出、字符编码)转化的,生成的向量文件目录结构是:
df-count 目录:保存着文本的频率信息
tf-vectors 目录:保存着以 TF 作为权值的文本向量
tfidf-vectors 目录:保存着以 TFIDF 作为权值的文本向量
tokenized-documents 目录:保存着分词过后的文本信息
wordcount 目录:保存着全局的词汇出现的次数
dictionary.file-0 目录:保存着这些文本的词汇表
frequcency-file-0 目录 : 保存着词汇表对应的频率信息。
查看转化结果:
mahout seqdumper:将SequenceFile文件转成文本形式,对应的源文件是org.apache.mahout.utils.SequenceFileDumper.java
mahout vectordump:将向量文件转成可读的文本形式,对应的源文件是org.apache.mahout.utils.vectors.VectorDumper.java
mahout clusterdump:分析最后聚类的输出结果,对应的源文件是org.apache.mahout.utils.clustering.ClusterDumper.java具体每种命令如何用及参数如何选择,在命令行后面加-h或-help可以查看
分享到:
相关推荐
mahout测试数据 raw文件夹下有5目录(camera computer household mobile MP3)每个目录下有1000多篇文章
mahout测试数据 mahout测试数据 mahout测试数据 mahout测试数据 mahout测试数据 mahout测试数据
https://github.com/chubbyjiang/MapReduce
mahout中bayesian算法的数据流,可以根据excel中的公式来推断出该算法的数据流
【甘道夫】通过Mahout构建贝叶斯文本分类器案例详解 -- 配套源码
Mahout 贝叶斯算法根据模型分类无标签数据,具体参考http://blog.csdn.net/fansy1990/article/details/37991447
问题 • 1、什么是mahout? • 2、mahout是干啥的 ? • 3、mahout是怎么干的? Apache Mahout 是 Apache Software ...此领域与数据挖掘密切相关,并且经常需要使用各种技巧,包括统计学、概率论和模式识别等。
该数据包含两列,数据之间用空格进行划分,主要用来进行聚类分析,可以直接作为mahout机器学习平台的实验数据
mahout canopy+kmeans测试数据
mahout 数据挖掘 数据分析 开源 hadoop
mahout聚类算法的介绍,例如:Canopy,KMeans,Fuzzy-KMeans,Spectral Clustering等参数介绍和适用场景介绍
数据挖掘工具mahout环境搭建 数据挖掘 hadoop
基于Mahout的电影推荐系统的数据文件,数据文件包含(users.dat、moives.dat、ratings.dat、movie_preferences.txt)。
Mahout实战案例-约会推荐系统,详情参考博客《Mahout案例实战--Dating Recommender 系统》http://blog.csdn.net/fansy1990/article/details/44181459
mahout_help,mahout的java api帮助文档,可以帮你更轻松掌握mahout
数据下载自http://grouplens.org/datasets/movielens/的10m, 下载速度非常慢,放到此处分享
mahout is a library for data mining / machine learning using Hadoop technologies.
maven_mahout_template-mahout-0.8
mahout 入门中文材料,是IBM文章汇总,值得一看