企業(yè)網(wǎng)站設(shè)計(jì)預(yù)處理模塊的構(gòu)成

發(fā)布：2019-10-09 16:01:53 瀏覽：7429

預(yù)處理模塊的構(gòu)成。預(yù)處理模塊由三個子模塊構(gòu)成,分別是頁面抓取、文本內(nèi)容提取、關(guān)鍵字提取。頁面抓取的主要功用是讀取用戶信息庫中儲存的行為信息,分析用戶興趣所在,抓取相對應(yīng)的頁面。文本內(nèi)容提取,其主要功能是將抓取到的頁面信息進(jìn)行過濾,去除不相關(guān)的信息,提取與頁面主題相關(guān)聯(lián)的內(nèi)容,并將其以文本文件的形式保存至數(shù)據(jù)庫,便于用戶觀看與查找。關(guān)鍵字提取,該項(xiàng)子功能模塊會將用戶行為信息進(jìn)行分詞,將文本中的內(nèi)容以詞條形式顯示,并計(jì)算每個詞條的重要性,依此排序,選出與詞條相關(guān)的內(nèi)容。