國立中央大學

#請益 求幫選 資料工程師/後端工程師

2月2日 14:02
小弟日前得到了一份理想工作,整個談下來得到了多個Team的邀請,職缺以及敘述如下: 1. 資料工程師:主要會接觸20-30K QPs的data stream,並開發整個公司的核心業務資料流以及參與整個公司的infra設計,每日可以接觸到的量有2-3T,且維護PB級的HDFS。 使用技術有:python flask/spark/Hdfs/.Net Core/Docker/k8s 考慮的原因:可以接觸到廣泛的資料技術,且小弟本身之前就蠻嚮往真正的Big data。 2. 後端工程師:開發公司內或產品的後端服務,不會碰到什麼Data,著重在API的開發,可以碰到比較多商業邏輯。 使用技術有:python flask/.Net Core/GraphQL/Jenkins/Gitlab/Docker/K8s 考慮的原因:自己本身就是後端出生,只是研究所接觸ML系統所以有想過走Data Backend,可是純Backend我也愛。 薪水的部分都一樣,同事目測都是112cs,人都很好應該也不怕進去沒人帶,兩邊實在都很喜歡所以不知道怎麼選,希望有大大幫忙開導😭
44
回應 24
文章資訊
Logo
每週有 28 則貼文
共 24 則留言
國立政治大學
我覺得單純看你喜歡走哪邊了 如果是面向台灣的市場 30QPS算大 但如果有對海外的話,30QPS不算什麼大數據,但當作是磨練經驗到也蠻夠 如果都打算在台灣的話,我會推薦後端 資料科學被炒的太兇了,但大家心知肚明市面上多的是調參工程師而不是資料科學家
原 PO - 國立中央大學
B2 不好意思打錯了 是20K QPs... 我沒有打算往資料科學家前進(自認ML學不起來) 不過單純資料工程在台灣的發展不知道如何
原 PO - 國立中央大學
未來也會想往國外發展(新加坡或日本或美國)這樣子的話不知道該怎麼選
B3 那很棒欸 把東西偷一偷學一學就可以出國了 單純資料工程我覺得在台灣沒特別好,一堆調參工程師而已,薪水很不透明 混雜了很多其實是BI的缺 真正的資料工程師職缺一定也不少,但奇奇怪怪的我覺得還是比較多一點
我自己做資料分析的,滿常接觸後端工程師、資料工程師跟大數據架構師,看他們做的事情我感覺很有挑戰啊,除了技術難點攻破外,也會有許多業務的思考 小到數據脫敏策略、大到數據中台的架構設計、組件二開、集群跟內存資源維護等等 例如最近我打算統一一套用戶行為分析,做了統一的埋點設計。 數據工程師會需要了解我現在以及未來可能的數據應用場景,跟後端開發專用SDK,制定上報機制、時實數倉架構(現在正在部署卡夫卡測試環境) 我接觸到不少比例的後端,如果想轉型要不就是Go、要不就是走大數據。 但台灣Big Data發展比較慢...一種想法就還是穩穩地走純後端、一種想法是先進去卡位Big data賭未來的機遇 如果你對Data Backend也有興趣的話,我認這發展是很不錯的。 但畢竟我沒有很完全了解他們在做什麼,如果你有什麼更具體的問題,我可以再去請教我們數據架構師(或是請教正在轉型的後端工程師) P.S 打個小廣告,有空可以看看我寫的資料分析Blog~
原 PO - 國立中央大學
B6 太感謝你了 這幾天其實一直在瘋狂找相關資料 之前一直擔心走DE會不會以後比較難跳槽 但是聽大大解釋後覺得這其實是一條有自己挑戰的路 讓我更堅定想往這邊發展了 唯一會思考的點是怕.Net Core未來會被取代... Python後端在台灣感覺也很少公司在用
淡江大學
建議原po data跟backend要自己想清楚 沒有什麼data能輕鬆轉backend這種事 由其是在強調技術的公司更是這樣 data eng 1. qps很高不代表data端的資料流也是這麼高 2. 接觸PB級別資料是真的,維護是假的 3. 開發核心資料流是假的,data eng連業務邏輯都不懂了,怎麼在程式裡埋資料,都常到data手上的都已經是整個資料流的最後一站了 4. 設計這種高qps的infra,大部分都是backend 或SRE幫你們處理好了,因為data eng不怎麼有這種能力及經驗,data eng主要功能在於確保資料正確性、資料分析等,而不是設計大流量服務,另外通常確保線上服務正常,資料工程師不會直接在線上操作,資料可能久久或一天同步一次,所以在bigquery這種操作想怎麼玩就怎麼玩 ,反正又不會壞,就算需要即時分析資料,也會是backend處理好,而不會是直接由data eng做處理 backend eng 1. 看不出來你有backend背景或深入 2. 除了GQL其他jenkins, docker, k8s大部分都是偏SRE的方向的技術 3. backend要會的有 監控、融斷、分片、限流、持久化、均攤、災害恢復、壓縮、時序處理等技術,你還覺得能從data輕鬆轉嗎,這也是為什麼data不可能設計高qps的原因, 當然不代表都一定要會才能當backend,我想告訴你的是兩者的技術站根本不同,也各有所長,要自己想清楚。
原 PO - 國立中央大學
B8 感謝你的回答,不過看起來你好像比較推 Backend的感覺XD 20-30k的部分到data端應該是不會少的(吧),因為我們所有資料都要回ML Team做online learning,基本上每20分鐘內 就要同步資料進去HDFS。 不過我其實也不是純Data出家,所以也不知道這樣的資料量會不會算少見。
現在遊戲設計開發也不錯
輔仁大學
B6 我也是做資料分析的 剛剛看一下你的網站 蠻想知道對岸在數據這塊的人才是不是飽和了
國立東華大學
B7 .Net Core是一定會被取代的,只是大概是被.NET 6取代而已XD
# B11 Hi同行~ 大陸是越來越多人想走數據,大概從2017/2018年開始感覺到變得很熱門,現在有點降溫些,但竟爭還是更激烈了吧,至於人才飽和..我覺得沒有... 說沒有飽和我是這樣看的: 1.傳統IT服務都是toB的,因為微軟/Aamzon/Salesforce等的影響,大陸也越來越多傳統IT企業也轉型數據(SaaS/Pass服務) 2.越來越多傳統企業想數位化,他們不需要很專業的數據人才,但需要解決方案(可能是訂製部署、或是買通用的SaaS\Pass服務),提供相關服務的公司招人也變多 3.需求端要求更高,以前有個hive就很厲害了,現在都在抄襲阿里的數據中台那一套,甚至想升級數據湖、加強實時計算等 4.因為字節靠推薦算法打造爆款產品, 一線其他互聯網大頭公司也更重視、探索機器學習的應用層面。
B11 也想請問台灣目前在資料分析這塊,目前跟未來的發展情況,你怎麼看啊?交流一下..
輔仁大學
B14 台灣的話 新創或科技業比較偏向ML DL 中小企業主要還是產出報告或做BI為主 銀行有些也是 但有些也有偏向AI ?! 我其實沒太多人脈哈 大概頂多只能提供初淺見解 ~ B11
國立交通大學 數據科學與工程研究所
我念這個所 找工作看了薪資還是屈就於現實 畢業還是去一線豬屎屋了QQ
B16 請問這是新的所嗎?要學哪些課啊?有沒有 官網可以瀏覽一下的..
原 PO - 國立中央大學
B16 如果進去豬屎屋會不會就出不來了啊,我一個朋友是要去寫wifi,雖然錢多,但如果心中比較嚮往Backend的話會不會跳不回來@@
國立交通大學
B17 google一下應該就有資料了 算是交大資工的系所
國立交通大學 數據科學與工程研究所
B18 感覺很容易跳不出來QQ 要跳還是趁早跳船吧, 你心中嚮往backend的話,最後還是會去backend吧,不如就不要去豬屎屋
原 PO - 國立中央大學
B20 是說我看很多豬屎屋也有開 data engineer,只是投研替預聘都沒辦法去挑自己喜歡的部門@@ 感覺要也只能等畢業去直接投了
國立交通大學
B21 對 某家有在做視覺相關的 但研替丟的職位好像丟不到QQ
原 PO - 國立中央大學
B22 你也是應屆畢業嗎? 我是打算校招開始的時候再投 不然最近去投要馬要直接上工要馬預聘 哭啊
銘傳大學
『112』為行動電話緊急救難號碼,在全球各地有基地台訊號範圍處均可撥打。即使行動電話無SIM卡,只要尚有電力並在信號涵蓋範圍內,均可撥通。