厚數據,讓大數據發揮價值

提升AI應用的價值

Posted by Mora on Tuesday, June 16, 2020

TOC

你曾有過分析手中的資料卻一無所獲的時候?
那時候的你,會怎麼做?
腦中會開始浮現其他相似的演算法或模型?
開始做無窮的嘗試?
你曾有一絲疑惑 你手中的資料不夠描述應用場景的狀況?
就如同,要炒一盤蔥爆牛肉,沒有牛肉,
再怎麼好的鍋具,也炒不出客人點的蔥爆牛肉。

這篇影片點出了很多目前AI應用價值無法突破的點,
技術與演算法很重要,然而似乎蒐集到對的數據是更巨大的挑戰,
目前大數據分析好像卡在某一個瓶頸,

「問題在那裏 」,卻找不出好的解決方法

執行一些專案,透過多元的視覺化工具,單看數據,就能看出過往的現況,點出問題點在哪,但卻無法進一步了解為什麼?然而,為什麼「為什麼」那麼重要,只有透過解析為什麼,從源頭改善,你才能做出更有價值的決策,然而,比較可惜是很多專案就只停在看到為什麼。

要解決問題,找出「為什麼」是關鍵

以我家小孩刷牙為例,透過每天的觀察紀錄,我知道我家小孩不愛刷牙(觀察到問題點),一般人直覺的處理方式,可能覺得孩子就是愛拖延,所以一開始採用不斷的提醒的方式處理,發現並沒有提高小孩刷牙的頻率,放下脾氣,仔細推敲觀察孩子在刷牙過程中的抱怨與反應,這時我才發現孩子的口腔對於痛覺很敏感(一開始我忽略孩子的反應,認為痛覺只是孩子的一個藉口),所以才不喜歡刷牙。 原來孩子為什麼不喜歡刷牙,不是拖延,而是因為刷牙這過程對他來說很痛。

知道卡住孩子刷牙的原因是痛覺敏感,就可以對症下藥,換一隻刷毛更軟的牙刷,降低刷牙的痛感,才能使小孩漸漸養成刷牙的好習慣,這比用app定時提醒刷牙更有用。 能成功讓孩子刷牙的關鍵,就是仔細推敲觀察與反覆驗證孩子在刷牙過程中的抱怨與反應,這些就是厚數據。 第一次實實在在地感受到,或許用任何感測器都無法得知孩子為口腔高敏感族群,然而僅透過貼身的觀察反而能找出卡住的問題點。

Nokia也曾吃過大數據的悶虧

2009年Nokia手機獨佔手機龍頭,收集大量的資料,沒有見到任何數據指出有人想買智慧型相機,而拒絕了科技人類學家透過田野調查長期追蹤的建言,

連中國最窮的人也想要買智慧型手機,且他們會不擇手段的拿到

拒絕的原因,僅因數據量太小(100組)與缺乏多樣性,Nokia 誤以為大數據所收集到的資料就是全部的資料,而沒想到大不代表全部,因為所發送問卷的前提是人們不知道智慧型手機是甚麼?所以你的數據當然不會反應。 所以當分析手中的資料嘗試所有的方法都一無所獲時,你應該反思:
* 1.現在手頭上的資料是否已經能描述了實際的情況?
* 2.有漏掉了什麼更關鍵的資料與指標?

透過田野調查式的實地訪查產生出的厚數據是找出「為什麼」的關鍵。

厚數據是什麼?

厚數據一詞是借用厚描述(Thick description,Clifford Geertz)的概念而來,主要應用在社會科學領域上,透過深入的實地觀察描寫人類社會行為,

厚數據用人類學定性研究法來闡述的數據,只在揭示情感、故事和意義。
~PL Data公司創始人王聖捷

大數據和厚數據本質上有很大的不同

厚數據與大數據兩者的差異點 [3]

厚數據與大數據兩者的差異點 [3]

大數據希望機器學習人類的智慧,但是有很多事情,機器是無法取代人類的,同理心與豐富的觀察力,然而厚數據就是透過實地觀察,把人主觀的描述給記錄下來,大數據專注在現況的確認而厚數據在找出為什麼的原因,剛剛好補足了大數據的不足,對症下藥,產生一個好的解決方案或決策。

透過這支影片,讓我很有感觸,

資料分析難的地方不是僅只於處理冷冰冰數據的技巧,還包含要開啟所有感官,用眼觀察,用耳朵接收很多反饋,且不能帶有任何主觀的刻板印象,有時太多的刻板印象會把自己陷入到某種偏見中,而忽略了真正重要的關鍵(如我認為痛覺只是孩子的一個藉口)。

大數據搭配厚數據, 才能發現引發這問題的關鍵,找到問題的最佳解決方案。

這影片提醒了…

資料分析思維要具有彈性

不要依據數據的大小而判斷數據的價值, 不要偏重量化數值而捨棄質化數值的重要性, 因為質化分析代表現況, 而現況需要時間的發酵才會在未來的數據上作呈現, 需要過一段時間的醞釀才會被人們發現, 因此質化分析有其洞燭機先之妙。 對於一個資料充滿好奇與喜愛觀察的我, 這影片讓我不斷反覆觀看與反思, 如有機會能往現地去探查,一定要好好把握這難得機會, 偶爾要從數據這個觔斗雲躍下,或許看的會更遠。

進階參考資料:
1.大數據離不開「厚數據」
2.Netflix用「厚數據」抓住觀眾眼球 自製電影擊敗好萊塢
3.The Illusion of Knowledge: Have We Confused Big Data for Thick Data?