這篇文章給大家分享的是有關spark mllib如何實現(xiàn)TF-IDF的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

成都創(chuàng)新互聯(lián)公司長期為上千多家客戶提供的網站建設服務，團隊從業(yè)經驗10年，關注不同地域、不同群體，并針對不同對象提供差異化的產品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網生態(tài)環(huán)境。為無錫企業(yè)提供專業(yè)的網站制作、網站設計，無錫網站改版等技術服務。擁有十年豐富建站經驗和眾多成功案例,為您定制開發(fā)。

運行代碼如下

package spark.FeatureExtractionAndTransformation

import org.apache.spark.mllib.feature.{HashingTF, IDF}
import org.apache.spark.{SparkContext, SparkConf}

/**
  * TF-IDF  是一種簡單的文本特征提取算法
  *  詞頻(Term Frequency): 某個關鍵詞在文本中出現(xiàn)的次數(shù)
  *  逆文檔頻率(Inverse Document Frequency): 大小與一個詞的常見程度成反比
  *  TF = 某個詞在文章中出現(xiàn)的次數(shù)/文章的總詞數(shù)
  *  IDF = log(查找的文章總數(shù)　/ (包含該詞的文章數(shù)　+ 1))
  *  TF-IDF = TF(詞頻)　x IDF(逆文檔頻率)
  *  此處未考慮去除停用詞(輔助詞，如副詞，介詞等)和
  *  語義重構("數(shù)據(jù)挖掘"，＂數(shù)據(jù)結構＂，拆分成＂數(shù)據(jù)＂，＂挖掘＂，＂數(shù)據(jù)＂，＂結構＂)
  *  這樣兩個完全不同的文本具有　50% 的相似性，是非常嚴重的錯誤．
  * Created by eric on 16-7-24.
  */
object TF_IDF {
  val conf = new SparkConf()               //創(chuàng)建環(huán)境變量
    .setMaster("local")                                             //設置本地化處理
    .setAppName("TF_IDF")                              //設定名稱
  val sc = new SparkContext(conf)

  def main(args: Array[String]) {
    val documents = sc.textFile("/home/eric/IdeaProjects/wordCount/src/main/spark/FeatureExtractionAndTransformation/a.txt")
      .map(_.split(" ").toSeq)

    val hashingTF = new HashingTF()			//首先創(chuàng)建TF計算實例
    val tf = hashingTF.transform(documents).cache()//計算文檔TF值
    val idf = new IDF().fit(tf)						//創(chuàng)建IDF實例并計算

    val tf_idf = idf.transform(tf) //計算TF_IDF詞頻
    tf_idf.foreach(println)

//    (1048576,[179334,596178],[1.0986122886681098,0.6931471805599453])
//    (1048576,[586461],[0.1823215567939546])
//    (1048576,[422129,586461],[0.6931471805599453,0.1823215567939546])
//    (1048576,[586461,596178],[0.1823215567939546,0.6931471805599453])
//    (1048576,[422129,586461],[0.6931471805599453,0.1823215567939546])
  }
}

a.txt

hello mllib
spark
goodBye spark
hello spark
goodBye spark

結果如下

感謝各位的閱讀！關于“spark mllib如何實現(xiàn)TF-IDF”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

網站欄目：sparkmllib如何實現(xiàn)TF-IDF
URL地址：http://www.2m8n56k.cn/article32/ihghpc.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供電子商務、網站維護、網站策劃、企業(yè)建站、網站導航、全網營銷推廣

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)