大數據股份有限公司

L大應該是在tech startup吧 技術能力夠 我有機會接觸到各行各業使用Hadoop的應用 扣掉本身有能力架Hadoop的公司之外，會買Hadoop support的最主要的客戶群來自： 銀行、保險等金融業 電信業 政府單位 這主要的基本客戶群，幾乎都不用/不可能用cloud 他們都有自己的data center 雖然，整體來說越來越多人的Hadoop跑在cloud上 另外，這些主要客戶群很...

有人說沒有國內業界代表，想說就來寫一篇好惹XD 敝社主要做的是數位廣告服務，公司沒有很大，老闆是台灣人 目前在上海及台北有辦公室 而我則是在台北辦公室的一名小小後端工程師 雖然頭銜是後端 但其實工作內容還挺雜的： 從廣告投放系統後端開發、data pipline建置、後續的reporting及modeling都有在碰 我的技能樹主要就點在data engineering和data science這...

嗯.. 我來分享一下美國的狀況. 我在美國西岸工作, 之前在某中小型 startup 帶 Data Science 組 現在換到某大公司做事. 廣義的來說 Big Data 是因為現在的系統產出了許多資料. 尤其是開網站的 internet company, 以及手機相關週邊. 所以這行業現在需求起來了. 我的建議是: 純做 Data science modeler 會比較辛苦, 因為這個入門的門...

看到這串文覺得手癢，想跟各位分享我自己看到的big data. 如果有理解錯誤的地方請糾正。我的背景是distributed systems不是data science. 我自己的感覺big data就是兩個部分：storage跟compute 其實一般企業都有非常大量的資料要處理，但以前big data沒有起飛， 是因為要儲存、處理、分析巨量資料，只有proprietary solution: ...

※ 引述《kxJanet (Janet)》之銘言：: 魯妹有一言不知道會不會被噓爆: 大數據有價值其實還有一個背景趨勢: 就是政府官方資料公開透明化自由存取: 像是隨處都下載得到的免費app: 公車即時資訊看到這篇釣到好多高手 手癢湊個熱鬧 敝人現在公司的數據部門基本上分成工程師組跟分析組跟算法組 三邊各司其職，工程師組負責資料的收集驗證以及後續的平台建立 分析組負責用工程師建立的平台作數據建模跟...

大數據如果簡單的講就是描述資料量非常的大， 這種大是無法在一台電腦儲存或處理的，記憶體也許會爆掉。 通常要設計平行化的處理架構， 或是用一些框架來處理，像是熟知的Hadoop、Spark。 當然也不一定是資料量大， 而是有時候產生的複雜度過高，也可能嘗試用此方式處理。 像是有些問題產生O(N^2)的計算空間， 就可以把計算空間分給不同電腦。(例如相似度計算問題) 然而所有問題的核心，都是要回歸到基...

魯妹有一言不知道會不會被噓爆 大數據有價值其實還有一個背景趨勢 就是政府官方資料公開透明化自由存取 像是隨處都下載得到的免費app 公車即時資訊 若能開發app來「觀察」公車使用者的「行為」 透過大數據的概念（其實有一部分就是資料探勘） 可以反饋給政府作為修正、設計新路線、排車班班次的參考依據 這種應用也只是資料探勘的九牛一毛的小小應用而已 但如果有心能找到這種小小藍海 那麼大數據工程師可能是未來...

開門見山：如果是有志想成為資料科學家或工程師的話，不要花，不值得。 連版上可能推的資策會大數據專班.....都不要去(真的要我寧可選Java EE班)。 恆逸我沒仔細研究，但應該沒差多少。 我是一位對資料處理有興趣的資料工程師，簡單說就是數據領域的黑手，不是帥帥的科學 家XD。但如果想一起當黑手的，我來說說有哪些東西可以先去看看有沒有興趣，再往下走： (一)資料源： Apache Flume Ap...

這領域主要分為二大類： (A)玩資料的人：具有想像力能找出資料間的關聯性，挖掘出有用的智慧。 能使用Machine learning提供訓練好的模型讓企業做應用(推薦系統)， 或者直接給出一個結論(啤酒尿布)。 有興趣的話可以參加台灣資料科學年會，會看到有趣的範例和應用。 這塊領域比較偏向學術，需熟悉統計學和演算法，能知道每種演算法該如何應用。 如果不是國立大學研究所畢業，或者沒有在這領域闖出名堂...

別傻了,大數據現在並沒有所謂的"課程" 因為它結合了很多東西在一起,巨匠的推法是不負責任的 因為就算它介紹的課沒有一科是講大數據之外 即便微軟有,是 BI最後一科教材上,內容是:Big Data overview 就只是概論而以...也就是說,只是介紹什麼是 Big Data... 不過妳如果連基本資料庫都不懂,也沒有統計系的學問,這個不是初級的東西啊... 所以,希望成功打消妳花錢的念頭,省下來...

資訊界每隔幾年就會想出一個名詞來騙錢 資料探勘、網格、WEB 2.0、FINTECH、大數據... 代代相傳... 基本上都是大公司搞出來的玩意。 其實都是騙錢的玩意而已，也是大公司要賣系統所需的 概念。 基本上資訊這種東西，從60年代以來就固定了，剩下的 只是應用面的變化。 花十萬去學大數據當然是傻到不行，這畢竟只是一個騙錢的 概念，很虛的。 更不用說，學完後又面臨到同樣的困擾，你去哪裡生 大數...

方向完全錯誤 你看到的是大數據分析工作需要的條件如下: 有沒有發現，這些條件都是所謂的 "工具" 工具 =/= big data 那請問你知道甚麼是 big data 嗎? big data 可以解決商業上的哪些問題? 透過哪些資料? big data 除了解決問題，還可以帶來哪些好處? 這些你大概知道嗎? 如果都不清楚，那請問你嚮往大數據工作的方式是? 那又你怎麼知道哪些工具是有幫助的呢? 並不...

我是前篇文章 原本的小妹 很開心專業的你們 給我建議 我並沒有想要當工程師 也從來沒有想過要利用這個管道釣到工程師 (為什麼會有人這樣想呢?) 發前篇的文章 真的真的真的很單純很單純 只是想知道巨匠的課程規劃師說的對不對? 畢竟十萬對我來說不是個小數目 我真的很多的不足 也太天真 也好像搞不清楚狀況 天兵的以為巨匠這樣介紹就可以往數據發展 這個版有好多篇 薪水版也有好多篇 站內也有給我回信建議 很...

※ 引述《s00771book (320)》之銘言：: 想問問前輩們: 目前小妹的工作只是個: 用BI cognos 拉資料做數據分析的助理: 再用Excel樞紐分析 寫寫函數: 做報告給主管看的工作: 薪水少之又少 也不算是一技之長: 根本不足以與大數據相提並論: 目前嚮往大數據工作的方向: (也是很有未來的工作 大陸已經很成熟了): 查看了104人力銀行: 大數據分析工作需要的條件:: MS ...

※ 引述《s00771book (320)》之銘言：: 想問問前輩們: 目前小妹的工作只是個: 用BI cognos 拉資料做數據分析的助理: 再用Excel樞紐分析 寫寫函數: 做報告給主管看的工作: 薪水少之又少 也不算是一技之長: 根本不足以與大數據相提並論如果只有作到描述性統計 (頻數分佈描述 直方圖 餅圖 散佈圖) 那需要的統計工具不用太複雜 不過雖然工具不算太複雜 但很多新鮮人連怎麼適...