大數(shù)據(jù)指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

什么是大數(shù)據(jù)

大數(shù)據(jù)指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)歷史和當(dāng)前考慮因素

雖然術(shù)語(yǔ)“大數(shù)據(jù)”相對(duì)較新，但收集和存儲(chǔ)大量信息以進(jìn)行最終分析的行為已經(jīng)很久了。這個(gè)概念在 21 世紀(jì)初獲得了動(dòng)力，當(dāng)時(shí)行業(yè)分析師 Doug Laney 將現(xiàn)在主流的大數(shù)據(jù)定義表達(dá)為三個(gè) V：

1.卷，組織從各種來(lái)源收集數(shù)據(jù)，包括業(yè)務(wù)交易，社交媒體和來(lái)自傳感器或機(jī)器到機(jī)器數(shù)據(jù)的信息。在過(guò)去，存儲(chǔ)它將是一個(gè)問(wèn)題 – 但新技術(shù)（如 Hadoop）減輕了負(fù)擔(dān)。

2.速度，數(shù)據(jù)以前所未有的速度流入，必須及時(shí)處理。RFID 標(biāo)簽，傳感器和智能電表正在推動(dòng)近乎實(shí)時(shí)處理數(shù)據(jù)的需求。

3.品種，數(shù)據(jù)有各種格式 – 從傳統(tǒng)數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)字?jǐn)?shù)據(jù)到非結(jié)構(gòu)化文本文檔，電子郵件，視頻，音頻，股票報(bào)價(jià)數(shù)據(jù)和金融交易。

在 SAS，我們?cè)诖髷?shù)據(jù)方面考慮兩個(gè)額外的維度：

1.變化性，除了速度和數(shù)據(jù)種類(lèi)的增加之外，數(shù)據(jù)流還可能與周期性峰值高度不一致。社交媒體中有什么趨勢(shì)嗎？每日，季節(jié)性和事件觸發(fā)的峰值數(shù)據(jù)負(fù)載可能難以管理。非結(jié)構(gòu)化數(shù)據(jù)更是如此。

2.復(fù)雜，今天的數(shù)據(jù)來(lái)自多個(gè)來(lái)源，這使得難以跨系統(tǒng)鏈接，匹配，清理和轉(zhuǎn)換數(shù)據(jù)。但是，有必要連接和關(guān)聯(lián)關(guān)系，層次結(jié)構(gòu)和多個(gè)數(shù)據(jù)鏈接，否則您的數(shù)據(jù)可能會(huì)迅速失控。

為什么大數(shù)據(jù)很重要？

大數(shù)據(jù)的重要性不在于您擁有多少數(shù)據(jù)，而在于您使用它做了多少。您可以從任何來(lái)源獲取數(shù)據(jù)并進(jìn)行分析，以找到能夠降低成本，減少時(shí)間，新產(chǎn)品開(kāi)發(fā)和優(yōu)化產(chǎn)品，以及智能決策的答案。將大數(shù)據(jù)與高性能分析結(jié)合使用時(shí)，您可以完成與業(yè)務(wù)相關(guān)的任務(wù)，例如：

1.近乎實(shí)時(shí)地確定故障，問(wèn)題和缺陷的根本原因；

2.根據(jù)客戶(hù)的購(gòu)買(mǎi)習(xí)慣在銷(xiāo)售點(diǎn)生成優(yōu)惠券；

3.在幾分鐘內(nèi)重新計(jì)算整個(gè)風(fēng)險(xiǎn)組合；

4.在欺詐行為影響您的組織之前檢測(cè)它。