Open in app

Sign In

Write

Sign In

vgod's blog
vgod's blog

3.2K Followers

Home

Lists

About

Feb 26

機器學習工程和MLOps的典範轉移

我在五年前開始幫我們公司搭建一個機器學習平台,幫助ML工程師快速開發和部署模型。這整套流程「搜集資料 -> 特徵工程 -> 訓練模型 -> 最佳化參數 -> 部署模型」和相關的基礎建設被稱為MLOps,基本上矽谷每個有用到ML的中大型公司都有團隊在開發和維護這類的系統和工具。 雖然我自己平日工作不開發ML模型,但為了開發好用的工具和平台給ML工程師用,我一直很關注他們的需求和日常開發流程。從去年(2022)開始,我發現整個ML開發流程默默地開始進行「典範轉移」。傳統的開發流程逐漸變得不再適用於新的AI時代。 這個改變來自於科技巨頭們和Hugging Face (ML界的Github)上公開的「預訓練模型 」(pre-trained models)。這些模型是用大量公開資料訓練出來的模型,可以很好地處理各種基礎任務,像是語音辨識、翻譯、自然語言、視覺辨識等。像GPT-3這樣的大型語言模型 (LLM),一個就可以做到以往需要十幾個專用模型才能做的事。有了這些已經訓練好的模型,要開發ML應用,ML工程師可以直接跳過MLOps前面所有步驟,直接進入最後一步的「部署模型」。如果用外部API,甚至連部署和ML工程師都省了,找個後端工程師接上API就可以運作了。

AI

5 min read

機器學習工程和MLOps的典範轉移
機器學習工程和MLOps的典範轉移
AI

5 min read


May 2, 2022

軟體工程師的修煉與成長 (10) — 四維的技術能力

過去幾年正好是軟體工程師的黃金年代,各大科技公司不斷擴張並抬高工程師的行情,每個產業也都想要雇用軟體工程師來把企業改造成科技公司。資訊科系的畢業生供不應求,這個需求甚至外溢到任何跟電腦或程式有扯上邊的科系,只要有在學校寫過一點程式,不管是Fortran還是Matlab,也一批批的跑來找軟體工程師的工作。即使原來在完全不同領域工作的人,也都紛紛加入 …

軟體工程師的修煉與成長

10 min read

軟體工程師的修煉與成長 (10) — 四維的技術能力
軟體工程師的修煉與成長 (10) — 四維的技術能力
軟體工程師的修煉與成長

10 min read


Apr 18, 2022

軟體工程師的修煉與成長 (9) — 選擇適合自己的公司

千奇百怪的矽谷公司們 科技軟體產業在這十幾年瘋狂成長,世界最大的前幾大公司幾乎全都是科技公司,「FAANG」也成為很多人進入這個產業的終極目標。現在很多學生,為了畢業後能馬上進入這些公司,在學校就瘋狂刷題,但其實完全沒想過自己適合什麼樣的公司,最後終於擠進一家FAANG後才發現跟自己想像的完全不一樣。也有些工程師一直在startup奮鬥,幻想著過幾年IPO就可以發大財 …

軟體工程師的修煉與成長

10 min read

軟體工程師的修煉與成長 (9) — 選擇最適合自己的公司
軟體工程師的修煉與成長 (9) — 選擇最適合自己的公司
軟體工程師的修煉與成長

10 min read


Apr 4, 2022

軟體工程師的修煉與成長 (8) — 讓自己可以被取代

Staff Archetypes 可能是天生的工程師性格,我一直非常崇敬能把一件事情做到極致的「匠人精神」。這也是我一直對於「成為管理者才是成功」的這種風氣感到不以為然的根本原因之一。 之前的文章有提過,在Staff之上的等級,每個人隨著自己的專長和興趣,會發展成不同型態的工程師。這邊一定要引用 https://staffeng.com/ 上的 Staff archetypes 這篇文 …

軟體工程師的修煉與成長

6 min read

軟體工程師的修煉與成長 (8) — 讓自己可以被取代
軟體工程師的修煉與成長 (8) — 讓自己可以被取代
軟體工程師的修煉與成長

6 min read


Mar 21, 2022

軟體工程師的修煉與成長 (7) — 如何突破資深工程師的天花板

Manager or Individual Contributor? 前面的文章提過,L5資深工程師是大部分公司的「終端等級」。在這個等級以後,即使年資一直增加,也不會自動就往上升,如果沒有超過這個等級的impact,就會一直停在這。這個等級是公司產出的主力部隊,人數通常最多,年資的範圍也最廣。現在在矽谷平均大概5年就能到資深,但也有很多在這個等級的人年資是超過10年甚至20年的。 不繼續升職並不是什麼罪惡,畢竟這個 …

軟體工程師的修煉與成長

13 min read

軟體工程師的修煉與成長 (7) — 如何突破資深工程師的天花板
軟體工程師的修煉與成長 (7) — 如何突破資深工程師的天花板
軟體工程師的修煉與成長

13 min read


Mar 14, 2022

軟體工程師的修煉與成長 (6) — 換團隊 x 2

換團隊 跟manager直球對決過後,他就開始積極的幫我找機會。這時團隊擴張的很快,一直有新人加入,我很快就有機會可以帶一個新加入的L3一起做個新的專案。 這專案進行的很順利,比起實作,我放了更多心力在寫設計文件,把系統切割成小任務讓別人實作,管理進度和任務的優先權。正當我覺得我終於開始有更多機會在這個團隊展現領導能力時,公司這時突然決定要開發一個新產品, …

軟體工程師的修煉與成長

8 min read

軟體工程師的修煉與成長 (6) — 換團隊 x 2
軟體工程師的修煉與成長 (6) — 換團隊 x 2
軟體工程師的修煉與成長

8 min read


Mar 6, 2022

軟體工程師的修煉與成長 (5) — 1:1該談什麼才能讓職涯起飛?

選擇比努力重要 以前我寫過一篇文章叫「do the right thing and do the thing right」,其中的核心概念就是「做對的事遠比把事情做好重要」。換句話說,意思就是「選擇比努力重要」。如果一開始就選錯了事情做,不管再努力都是徒勞。(但這不代表努力不重要,選對事情後一樣是要付出努力才有意義。) 現在回頭看我剛進D社的第一年,我覺得我沒能產生很 …

Careers

8 min read

軟體工程師的修煉與成長 (5) — 1:1該談什麼才能讓職涯起飛?
軟體工程師的修煉與成長 (5) — 1:1該談什麼才能讓職涯起飛?
Careers

8 min read


Feb 27, 2022

軟體工程師的修煉與成長 (4) — Product vs Infrastructure

做產品的日子 新手工程師要選哪個領域開始一直是個萬年問題。前端還是後端?web還是mobile?產品還是基礎建設? 我一開始進D社有很大一部分的原因是有可以做一個全新產品的機會。在產品還沒成形前,還有很多創新和嘗試的空間。所以,剛開始時我算是個產品工程師,web的前後端都做。 做產品的好處是離使用者很近,在產品上做的改變可以馬上被看到,對使用者的影響很直接。但我也不 …

軟體工程師的修煉與成長

6 min read

軟體工程師的修煉與成長 (4) — Product vs Infrastructure
軟體工程師的修煉與成長 (4) — Product vs Infrastructure
軟體工程師的修煉與成長

6 min read


Feb 20, 2022

軟體工程師的修煉與成長 (3) — Oncall的挑戰

新手村 上集提到,新手工程師剛加入一家公司,第一個難題就是了解現有的系統和程式碼,並找到對的地方改程式。英文有個很生動的詞,叫做”navigate”,跟用GPS「導航」是同一個字,但在這裡指的是在錯綜複雜的程式碼中跟著程式流動的方向,順著邏輯找到正確的進入點或函式。 剛進D社不久,我就發現可以學的東西實在太多了。除了自己團隊負責的產品外,公司內部還有一大堆 …

軟體工程師的修煉與成長

6 min read

軟體工程師的修煉與成長 (3) — Oncall的挑戰
軟體工程師的修煉與成長 (3) — Oncall的挑戰
軟體工程師的修煉與成長

6 min read


Feb 15, 2022

追求神乎其技的程式設計之道 — 2022重編版

追求神乎其技的程式設計之道 — 2022重編版 在2022回顧「 追求神乎其技的程式設計之道」 「追求神乎其技的程式設計之道」是我從2008年開始在我的個人blog上連載的一系列文章。當初只是因為想回答一位讀者問到關於如何學習寫程式的方法和經驗才開始撰寫的,沒想到後來就一連寫了三年,共有十二篇文章。 現在已經2022了,我決定開始一個新系列的文章「軟體工程師的修煉與成長」,所以就順便把舊文章從雜草叢生的舊blog整理一下搬來Medium,讓想要 …

Programming

66 min read

追求神乎其技的程式設計之道 — 2022重編版
追求神乎其技的程式設計之道 — 2022重編版
Programming

66 min read

vgod's blog

vgod's blog

3.2K Followers

Software Engineer, San Francisco

Following
  • Liang-Bin Hsueh aka hlb

    Liang-Bin Hsueh aka hlb

  • Cheng-Wei Hu | 胡程維

    Cheng-Wei Hu | 胡程維

  • Louis

    Louis

  • Felix Chern

    Felix Chern

  • Denny

    Denny

See all (56)

Help

Status

Writers

Blog

Careers

Privacy

Terms

About

Text to speech