數(shù)據(jù)挖掘是通過清理原始數(shù)據(jù)、發(fā)現(xiàn)模式、創(chuàng)建模型并測試這些模型來理解數(shù)據(jù)的過程。它包括統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)庫系統(tǒng)。數(shù)據(jù)挖掘通常包括多個數(shù)據(jù)項目，所以很容易與分析、數(shù)據(jù)治理和其他數(shù)據(jù)處理過程相混淆。如果大家在學(xué)習(xí)數(shù)據(jù)挖掘的過程中遇到難題，可以直接點(diǎn)擊藍(lán)字與海馬課堂的老師進(jìn)行咨詢哦！

本指南將定義數(shù)據(jù)挖掘，分享其好處和挑戰(zhàn)，并回顧數(shù)據(jù)挖掘的工作原理。數(shù)據(jù)挖掘有著悠久的歷史。它在 20 世紀(jì) 60 年代到 80 年代隨著計算的發(fā)展而出現(xiàn)。在歷史上，數(shù)據(jù)挖掘是一個密集的手動編碼過程 —— 即使在今天，它仍然需要編碼能力和知識淵博的專家來清理、處理和解釋數(shù)據(jù)挖掘結(jié)果。數(shù)據(jù)專家需要統(tǒng)計知識和一些編程語言知識才能準(zhǔn)確地完成數(shù)據(jù)挖掘技術(shù)。

一、數(shù)據(jù)挖掘不完全等同于數(shù)據(jù)分析

如前所述，數(shù)據(jù)挖掘可能會與其他數(shù)據(jù)項目相混淆。數(shù)據(jù)挖掘過程包括數(shù)據(jù)清理和探索性分析等項目，但它不僅僅是這些實踐。數(shù)據(jù)挖掘?qū)＜仪謇砗蜏?zhǔn)備數(shù)據(jù)，創(chuàng)建模型，根據(jù)假設(shè)測試這些模型，并發(fā)布這些模型以供分析或商業(yè)智能項目使用。換句話說，分析和數(shù)據(jù)清理是數(shù)據(jù)挖掘的一部分，但它們只是整體的一部分。

二、數(shù)據(jù)挖掘的好處

當(dāng)戰(zhàn)略性地部署數(shù)據(jù)挖掘以服務(wù)于業(yè)務(wù)目標(biāo)、回答業(yè)務(wù)或研究問題或成為問題解決方案的一部分時，數(shù)據(jù)挖掘最為有效。數(shù)據(jù)挖掘有助于進(jìn)行準(zhǔn)確的預(yù)測、識別模式和異常值，并經(jīng)常為預(yù)測提供信息。此外，數(shù)據(jù)挖掘幫助組織識別流程中的差距和錯誤，例如供應(yīng)鏈中的瓶頸或不適當(dāng)?shù)臄?shù)據(jù)輸入。

三、數(shù)據(jù)挖掘的工作原理

數(shù)據(jù)挖掘的第一步幾乎總是數(shù)據(jù)收集。如今的組織每天都可以收集記錄、日志、網(wǎng)站訪問者數(shù)據(jù)、應(yīng)用程序數(shù)據(jù)、銷售數(shù)據(jù)等等。收集和映射數(shù)據(jù)是理解可以對相關(guān)數(shù)據(jù)進(jìn)行哪些操作和提出哪些問題的良好第一步?？缧袠I(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程(CRISP-DM)是啟動數(shù)據(jù)挖掘過程的優(yōu)秀指南。這個標(biāo)準(zhǔn)是幾十年前創(chuàng)建的，對于剛剛起步的組織來說仍然是一個流行的范例。

四、CRISP-DM 的六個階段

CRISP-DM 包括一個六階段工作流程。它被設(shè)計為具有靈活性;如果需要，數(shù)據(jù)團(tuán)隊可以并被鼓勵返回到前一個階段。該模型還為幫助執(zhí)行或增強(qiáng)其中一些任務(wù)的軟件平臺提供了機(jī)會。

1.業(yè)務(wù)理解

全面的數(shù)據(jù)挖掘項目首先確定項目目標(biāo)和范圍。業(yè)務(wù)利益相關(guān)者將提出一個數(shù)據(jù)挖掘可以回答或解決的問題。

2.數(shù)據(jù)理解

一旦理解了業(yè)務(wù)問題，就該收集與問題相關(guān)的數(shù)據(jù)并了解數(shù)據(jù)集。這些數(shù)據(jù)通常來自多個來源，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。這個階段可能包括一些探索性分析以揭示一些初步模式。在這個階段結(jié)束時，數(shù)據(jù)挖掘團(tuán)隊已經(jīng)選擇了用于分析和建模的數(shù)據(jù)集子集。

3.數(shù)據(jù)準(zhǔn)備

這個階段開始進(jìn)行更深入的工作。數(shù)據(jù)準(zhǔn)備涉及準(zhǔn)備最終數(shù)據(jù)集，其中包括回答業(yè)務(wù)問題所需的所有相關(guān)數(shù)據(jù)。利益相關(guān)者將確定要探索的維度和變量，并準(zhǔn)備最終數(shù)據(jù)集以進(jìn)行模型創(chuàng)建。

4.建模

在這個階段，你將為給定的數(shù)據(jù)選擇適當(dāng)?shù)慕＜夹g(shù)。這些技術(shù)可以包括聚類、預(yù)測模型、分類、估計或它們的組合。Front Health 使用統(tǒng)計建模和預(yù)測分析來決定是否將醫(yī)療保健計劃擴(kuò)展到其他人群。如果你選擇的建模技術(shù)需要選擇其他變量或準(zhǔn)備一些不同的數(shù)據(jù)源，你可能需要返回到數(shù)據(jù)準(zhǔn)備階段。

5.評估

在創(chuàng)建模型后，你需要測試它們并衡量它們在回答第一階段確定的問題方面的成功程度。模型可能會回答一些未考慮到的方面的問題，你可能需要編輯模型或問題。這個階段旨在讓你查看迄今為止的進(jìn)展，并確保它在實現(xiàn)業(yè)務(wù)目標(biāo)的正確軌道上。如果不是，在項目準(zhǔn)備進(jìn)入部署階段之前，可能需要返回到前面的步驟。

6.部署

最后，一旦模型準(zhǔn)確可靠，就可以在現(xiàn)實世界中部署它了。部署可以在組織內(nèi)部進(jìn)行，可以與客戶共享，或者可以用于為利益相關(guān)者生成報告以證明其可靠性。當(dāng)最后一行代碼完成時，工作并沒有結(jié)束;部署需要仔細(xì)考慮、推出計劃以及確保正確的人得到適當(dāng)通知的方法。數(shù)據(jù)挖掘團(tuán)隊負(fù)責(zé)讓受眾理解項目。

海馬課堂，4000+嚴(yán)選碩博學(xué)霸師資，針對學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時間靈活安排，中英雙語詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識，補(bǔ)足短板。
海馬課堂服務(wù)煥新，六大模塊強(qiáng)勢護(hù)航！包括定制規(guī)劃報告、心靈輔導(dǎo)、免費(fèi)公益課、提分規(guī)劃及單項與組合課業(yè)輔導(dǎo)。學(xué)習(xí)教練助力 GPA 提升與職業(yè)發(fā)展，緩解壓力焦慮，清理負(fù)面情緒，提升自信，滿足不同學(xué)習(xí)需求。