網路爬蟲與輿情分析解決方案

企碩一  謝孟婷

在網路科技發達時代的引領之下，許多事情已經不再可以使用傳統的思想或理念來解決了，例如論壇講座中提到的行銷，在行銷學中，不斷演進了許多版本，不變的是要知道並理解自己的競爭對手，都在做什麼？要熟悉目標受眾所想要的需求是什麼？但不一樣的是，許多的事情都會藉由網路，展開一連串爆發性的發展，因此，要懂得善用分析、理解數據才能讓這個爆發性的發展從危機變為轉機。

這次論壇才讓我知道，原來許多我們看到的社團或論壇，像是PTT、Dcard等等，都有可能是我們可以做行銷分析，或者進行資料蒐集的參考選項，尤其像是年輕人的喜好或流行的事情，確實是我們可以從這些論壇上面得知的，如此一來，我們或許也能比其他人更早或更及時的掌握議題趨勢。

在這個網路迅速發展的時代，不論在網路發聲管道使用的普及率，或是議題的多元性都像是爆炸性的發展一般，有時候睡一覺甚至是吃一頓飯，社會就又蹦出一個新議題了，大概可以說這些資訊一直都在進行快速的滾動，所以能夠透過自動化的資料蒐集，並進行整理與分類，一定可以更快速的適應這個變化快速的新世代。

我覺得爬蟲技術之所以如此的吸引人，除本身的功用之外，還有在於它所能帶來的成本不高，因此我們不需要再像是以前一樣，如果想要建置一個比價網站的話，我們可能要先接觸到網站的窗口，去洽談彼此的合作，討論如何進行兩方之間的利益交換，以及商業模式的運作方式，然後再派技術人員進行相關作業的開發、測試與上架。如今有了網路爬蟲技術之後，我們就不需要再走上述那些繁雜瑣碎的過程，只要訂好公司所需的資料規格、抓取機制與儲存環境就可以來進行爬蟲技術的蒐集了。而且爬蟲技術它能夠有種像是把別人的資料庫都變成我的資料庫的感覺，所以對於行銷人員，或是很多需要資料統整、資料分析的領域來說，確實是滿重要的一項工具。

葉珈妮 企三丙

首先很謝謝這次有這樣一個論壇演講，讓我獲益良多，在這三場演講裡面我 最為印象深刻的是最後一篇，一開始介紹要如何在這樣一個倚靠著大數據生存 的產業鏈，因為科技發達的今日許多產業都離不開網路行銷，再加上疫情的關係許多消費者比起實體購物，線上購物更為方便，而廠商店家都必須跟上這波潮流以免被其他競爭者超過。講者有提到說要贏得消費者的注目，首先要知道自己的競爭者在做什麼，當你不曉得你的競爭對手在進行什麼樣的行銷活動時，自然會被超過。

講者有舉一個例子，Gogoro跟光陽，大家都知道 Gogoro的月租費並不便宜，而光陽就是看準這一點將月租費降很低然後將Gogoro那邊的客戶搶過來，很明顯的光陽的做法就透過降低消費者對於月租費的外顯成本，這樣的做法確實讓許多消費者進而選擇光陽作為購買電動機車得選項。講者還說擁有對手的情報是政府和企業的關鍵競爭力之一，因為現在都是倚靠大數據，還有網路來作為企業搜集情報以及看顧客的評價，這種方式的企業經營型態已是多數，傳統那種靠問卷以及大版面的廣告已經沒辦法滿足現在的企業需求。在資管課程裡面所學習到的像是Python、AI 這些東西都是未來可以用到的工具，不管是進行客群上面的統計還是說客人的評價搜集都是可以用到的，所以上課的時候都會努力去學，這樣以後找工作會比較容易上手。

這次的論壇講師 都分享了很貼近生活的舉例，因為現在大三了再過不了多久就要就業了，這次的論壇分享讓我學習到現在的企業都是如何競爭的，以及用什麼樣的對策才可以增加產品對消費者的關注。另外我自己也想學習如何做網頁，雖然知道自己在跑程式上面比較吃力，因為不太擅長理科，所以希望多學程式相關的東西，在資訊發達的時代下，不會跑兩個程式的話太吃虧了。希望以後還有這樣的論壇分享會，真的學習到很多，因為大學常常學習到的東西都比較偏向理論，而實務上的東西卻很難接觸到，所以在論壇會上面所吸收到的知識都比較實務。真的是獲益良多，謝謝老師給這個機會參與這次的論壇！讓身為一個準備要步入社會的大三生能夠吸收到一些實務上的經驗分享。

企三丙  羅品淇

輿情分析，也就是另類的市場調查。

現在社群媒體無所不在，像是FB、論壇可用它來跟其他人分享一些自己的想法或是消息。這個發言權的角度，也就轉換到使用者的身上，每個人都可以抒發自己的看法。很多企業跟組織也意識到這個社群媒體蓬勃現象，也把一些社群媒體導入到企業跟組織內，對外，建立官網外，也經營臉書的粉絲團之類的，做成一個窗口跟客戶，做直接近距離的意見交流；對內，對企業在做內部控管有很大的幫助，舉例而言，像是我們知道說很多組織，它可能會使用即時通訊軟體，來針對內部的一些資訊的一些交流。

舉兩個研究例子，分別是2012年由Chen，還有2013年由Lim這兩位學者，他們分別在MSQ跟ACM的TMS裡頭發表一些對於所謂社群媒體之商業智慧，如何改善企業跟組織的一些營運，或者能夠讓他們能夠更有效的利用這個社群媒體來進行一些服務。假如說一個社群網路不斷推薦合適的，使用者自然而然就會黏在這個社群網路上，進而貢獻他的想法跟一些觀點。Social Recommendation是不是能夠推薦一些合乎使用者，社群網路使用者的一些他們喜歡的東西。一旦你讓這個社群網路使用者留在這個社群網路之下，你自然而然就可以累積到相對的一些資料。

輿情分析，也可以善加利用群落偵測，所謂群落偵測，它主要就是說我是不是能夠在這個社群媒體裡，去把使用者分成一群一群高度相關的使用者，那可以根據這些不同觀點的族群給合適的一些服務或是一些建議。大量的資料裡頭去趕快找到合適的資訊，針對這些資訊去瞭解現在的使用者或是一些群眾的一些想法或看法。輿情分析還有值得探討的議題，就是在這些群落當中是否存在著意見領袖？他們可能是網紅、社群媒體上擁有廣大追蹤者的公眾人物，對大眾的意見擁有舉足輕重的影響力。

現在這些熱絡的媒體，很多人上去發表他們自己的意見跟看法，那這麼多的聲音我們應該，有沒有辦法去找出一個比較合適的具代表性的意見領袖呢？在1998年，有兩篇paper出現，都是專門針對這個議題。有一篇，這個作者他現在已經是超級富翁了，就是 Brin跟Page，也就是Google的創辦人之一。他們提出了一個所謂的PageRank演算法，用這個方法分析網路連結結構，來找出網路裡頭重要的點，當然它主要的網路就是網頁上的這些連結的情況。

另一篇，他是在康奈爾大學Kleinberg教授，他也是用相似的想法去分析這個網路裡頭連結的情況，來找出網路重要的點。那這兩篇研究呢，它當初的分析的對象其實都是要來分析網頁，透過你是不是有個知道另外一個網頁，那透過這一個網頁的這個連結情況去找出重要的網頁，後續也被應用到不同的領域，可以來找到一個重要的使用者。