What are the opening hours?

Monday 09:00 - 18:00 Tuesday 09:00 - 18:00 Wednesday 09:00 - 18:00 Thursday 09:00 - 18:00 Friday 09:00 - 18:00

Redefine Innovation

Home
Taiwan
Taipei
Redefine Innovation

最新的AI晶片、半導體分析，請訂閱我們的電子報：https://insights.redef.tech/

曾經在ASML荷蘭總部工作的產品經理/研發工程師, 負責過全球產品的研發以及商務開發，如需半導體產業顧問服務請私訊。

曾經在ASML荷蘭總部工作的產品經理/研發工程師, 負責過全球多種產品的研發以及商務開發。擅長用數據賦能精密製造工廠及提升研發能力

透過這個頁面分享全球半導體/智慧製造領域的知識和洞見，希望將深入的業內的經驗以簡單的方式讓更多人了解，在智慧製造領域創造價值。教的不是知識本身，而是如何使用知識。

演講邀約/合作請洽: [email protected]

11/10/2026

「AI Agent 的 CPU Bottleneck」

現在進入下一輪AI Agent晶片戰的準備期，我們可以看到，現在在設計下一代CPU的公司，不少都是以AI Agent為出發點去做設計。

AI Agent相關的晶片設計之所以重要，是因為它代表的是下一輪晶片競賽的洗牌。

在這一輪中，CPU將會從一個AI系統輔助的角色，變成一個重要的節點。也因此，下一代CPU的設計，將會是一個很重要的佈局點。

在AI Agent的系統中，新的瓶頸將會產生，因此，也帶出了未來的重點發展方向。

如果你有興趣了解CPU for AI Agent目前的硬體瓶頸，還有其代表的AI Agent CPU設計趨勢，歡迎閱讀我們最新的分析。文章請見留言處。

03/10/2026

「7 顆最新 AI 晶片解析：NVIDIA、OpenAI、Google、Microsoft、Meta、Cerebras、SambaNova 的設計策略有何不同？」

同樣是 AI 推論晶片，NVIDIA 把工作拆給兩種機器，OpenAI 堅持一顆晶片做完。做法相反，但兩家在回答同一個問題。

今年 Hot Chips 上，七家公司都拿出了自己的 AI 晶片。規格差很多，要解決的卻是同一個限制：推論卡在記憶體，不是算力。

模型每吐出一個 token，晶片都要把整個模型的權重從記憶體讀一遍。但每個權重讀進來，對一條對話只做一次乘法和一次加法。所以先用完的是記憶體頻寬，運算單元大部分時間在等資料。

解法是共用：權重讀一遍，同時服務很多條對話，每條對話各產生一個 token。同時跑的對話數，就是 batch size。

batch size 越大，同一次讀出來的權重被用得越多次，運算單元就越不閒。所以每顆晶片都有一個數字：batch size 要多大，算力才剛好用滿。下面把這件事叫做「餵飽」。

設計者只有兩種選擇。
一種是多配記憶體頻寬，幾條對話就能餵飽，使用者少的時候也跑得快。
一種是接受要幾百條對話才餵得飽，用別的方式補滿幾百條對話。

七顆晶片就是在這兩種選擇上各自定位：

1. Cerebras CS-4：晶片沒換，換的是供電和機架。不到十條對話就餵飽，代價是記憶體容量。

2. Meta MTIA 400：算力 5 倍，頻寬只有 1.5 倍，比上一代更難餵飽。這是為推薦模型加密度的晶片。

3. Microsoft Maia 200：要約 360 條對話同時跑才餵得飽。它接受這件事，靠排程減少等待，靠網路連到更多晶片去湊夠多的對話。

4. NVIDIA Groq 3 LPX：權重放 SRAM，不到十條對話就餵飽；KV cache 放在旁邊 GPU 機架的 DRAM。兩個機架各做自己的記憶體適合做的事。

5. SambaNova SN50：要約 870 條對話，是算得出來的六顆裡最難餵飽的。它的主張是，重點在頻寬實際用到多少。

6. Google TPU 8t／8i：訓練和推論各做一顆。一顆買連線，一顆買記憶體。

7. OpenAI Jalapeño：約 110 條對話就餵得飽。重點不是再加頻寬，而是讓已經有的頻寬用得到。

放在一起看，差異主要不在規格，而在「誰做的、做給誰用」的公司策略。
做給自己用的（Meta、Microsoft、Google、OpenAI），針對自己的工作負載設計。
賣給別人的挑戰者（Cerebras、SambaNova），各押一個贏 GPU 的指標。
NVIDIA 則把挑戰者的做法收進自己的系統。

每顆晶片一頁的圖解和完整推導，寫在〈從 Hot Chips 2026 的 AI 晶片看各家策略〉，連結放在留言。

這三種位置裡，你覺得哪一種的優勢最能維持？

26/09/2026

「AI Agent CPU的發展趨勢」

近期CPU的討論特別熱烈，因為，AI的發展即將要進入下一個階段。

AI Agent如果要能順暢的使用，CPU是關鍵。因此，最近CPU的發展非常的快速。

而且我們可以看到NVIDIA, Arm, Intel…..等公司，都提出不同的CPU架構。

如果你想了解近期CPU的發展趨勢，這篇我們就來跟大家分享一下～

▌Agent CPU 的三種解法：核心和快取要放在哪裡

AI agent 的工作負載和傳統伺服器很不一樣：大量的小任務同時跑、頻繁的分支和上下文切換、資料一直在核心和快取之間來回。這種負載對 CPU 的要求，不是單核有多快，而是「一大堆核心加上一大塊快取」能不能離得夠近、溝通得夠快。三家廠商面對同一個問題，給出了三種完全不同的封裝答案。

- NVIDIA Vera：NVIDIA走的是最傳統的路：單顆大晶片。88 顆 Olympus 核心和 164 MB 的 L3 快取全部塞在同一顆運算 die 裡，記憶體 die 和 I/O die 透過矽中介層掛在旁邊。好處很直接，核心和快取永遠不用離開同一塊矽，延遲最低、一致性最單純。代價也很直接：一顆 die 能多大，被光罩極限卡死，核心數量到頂了就是到頂了。

- Arm：Arm的 AGI CPU 選擇 2.5D chiplet 拼接：每個 chiplet 都是一顆完整的 SoC，自己有核心、快取、記憶體控制器和 I/O，然後用 UCIe-S 在有機基板上把好幾顆串起來。好處是模組化，同一顆 chiplet 複製幾份就能擴規模，不受光罩限制。但問題在於快取一致性的流量得跨 die 走，兩顆 chiplet 之間的核心要共享資料，就得經過 UCIe 這條相對慢的路。

- Intel：的 Diamond Rapids 則往上疊：把「核心 + L2」的運算區塊和「共享 LLC」拆成兩層，用 3D HBI 垂直接合，再透過 Fabric Hub 連到 DDR 和 I/O。這樣做最大的好處是快取可以掉到成熟製程去做，LLC 不需要最先進的節點，拆出來之後先進製程的面積只留給核心，成本結構整個改掉。代價是封裝複雜度和散熱：核心的熱要穿過或繞過快取層出去，這和 zHBM 遇到的是同一類問題。

▌為什麼這是重要發展：CPU是下一個關鍵，而封裝技術成了 CPU 的重要發展

過去 CPU 的競爭主要在微架構和製程節點，封裝只是把 die 裝進去的後段工序。這頁最值得注意的地方，是三家一線廠商在「Agent CPU」這個新品類上，各自選了不同的封裝路線。這代表大家都認同一件事：核心和快取之間的距離還有晶片大小的取捨，已經是這類負載的決定性變數，而這個距離是由封裝決定的，不是由製程決定的。

第二，這三條路線的取捨互相排斥，沒有一個是全面領先的。單晶片延遲最好但規模到頂；2.5D 規模最好但一致性最差；3D 成本結構最好但熱和良率最難。哪一條路勝出，取決於 agent 負載最後長成什麼樣，如果是大量獨立的小 agent，2.5D 的複製模式夠用；如果是需要大量共享狀態的協作 agent，快取一致性就會逼大家往單晶片或 3D 走。

如果你想了解更多CPU的發展與晶片設計趨勢，歡迎閱讀我們最新的分析 (見留言處)

22/09/2026

「半導體關鍵一頁簡介 - zHBM：下一世代的記憶體型態提議」

在現代的AI晶片上，從記憶體到xPU的傳輸頻寬是目前最重要的瓶頸之一。因此，這不僅是記憶體的問題，而且是AI晶片系統目前最大的挑戰。

今天的 HBM 有一個先天的限制：它是放在 xPU「旁邊」的。兩顆晶片透過矽中介層連在一起，所有的資料進出都得經過 xPU 邊緣那一排 PHY。這就產生一個很直觀的問題，晶片的邊長就那麼長，能塞的 I/O 數量有上限，而且每一個 bit 都要在中介層上跑個幾 mm 才能到對面。這條「海岸線 (Shoreline)」的長度，一直是記憶體頻寬的限制條件。

Samsung 提出的 zHBM 想法很簡單：既然邊不夠用，那就不要用邊。把 DRAM 直接疊在 xPU 上面，用 hybrid Cu bond 把 I/O 鋪滿整個晶片正面。原本一維的邊長預算，一下子變成二維的面積預算；走線距離從 mm 縮到 µm；邊緣 PHY、D2D link、甚至矽中介層，通通不需要了。

但天下沒有白吃的午餐。原本 xPU 的熱是直接往上排到散熱蓋的，現在 DRAM 疊在上面，熱得先穿過記憶體才出得去。這就是為什麼 zHBM 的堆疊高度只能做到大約 4 層，遠低於現在 HBM 的 12 ~ 16 層。

因此，接下來在HBM的發展上，散熱會是一個很大的挑戰。因為，Samsung 給出的數字雖然看起來很漂亮：頻寬是 4 層 HBM4E 的 2.3 倍，功耗少 100 W，I/O 功耗比 HBM5 低 70%。但是，從堆疊高度往回推，同樣的 die 尺寸下，每顆堆疊的容量只剩 1/3 到 1/4，頻寬換容量，還需要看是否符合市場的需求，如果HBM容量也是另一個重點的話，那勢必需要再疊高。因此，能不能夠成為下一個世代記憶體的標準，還是要看能不能突破散熱的挑戰。

▌為什麼這件事值得關注 - 從Shoreline到3D結構的演進

過去十年 HBM 的進步方式，說穿了就是在同一條海岸線上硬擠：層數從 4 疊到 16、I/O 頻率一路往上拉、PHY 越做越密。但邊長是物理量，不會因為製程進步而變長，這條路的每一步都比上一步更貴、更耗電。zHBM 的意義在於它打開了一個新的縮放軸，頻寬不再由邊長決定，而是由面積決定，這是自 HBM 誕生以來第一次有人真正繞過這個限制，而不是在限制裡面做優化。

第二層意義是，它改變了記憶體和運算的關係。今天 HBM 是掛在 xPU 旁邊的「周邊」，兩者之間隔著一條需要 PHY 和中介層來跨越的鴻溝；zHBM 把記憶體變成運算封裝的一部分，資料距離短到接近 on-chip SRAM 的量級。對 AI 推論這種被記憶體頻寬綁死的工作負載來說，這不是漸進式改善，而是把整個記憶體牆往後推了一大截。

第三，瓶頸移動了，產業裡誰重要也跟著移動。當限制從海岸線變成熱預算和接合良率，決定勝負的就不再是誰的 PHY 設計最好，而是誰能把 hybrid bonding 的良率做上來、誰能解決熱穿過 DRAM 的問題、誰能在 4 層的容量限制下重新設計記憶體階層。zHBM 現在還只是概念，但它指出的方向，也就是記憶體 I/O 從邊走向面的這個趨勢，很可能是接下來高頻寬記憶體演進的趨勢，值得我們觀察。

如果對於更多關鍵分析有興趣的話，請到我們的網站 (見圖) 閱讀更多深入分析。

17/09/2026

「SEMICON Taiwan 2026分析之三：AI 正把記憶體從零組件推向系統架構」

今年以來，記憶體是半導體產業的一個很重要的題目。因為，大家終於意識到，記憶體是AI系統裡面的一個重要關鍵。

不過，大家可能會比較注意到的，是HBM、DRAM的重要性，不管是從技術角度看的記憶體頻寬的瓶頸，或是記憶體供需的失衡。但，這些較多是從單一元件的角度來看這件事情。

大家可能沒注意到，記憶體已經從單一種元件的發展，延伸到整個系統不同層級的記憶體整合和管理。

近期，不管是NVIDIA、Google，或是記憶體廠Hynix、Sandisk…..等等，都在朝這個方向投入大量的研發資源。

這次的半導體展，我們可以看到不同層級的記憶體公司，還有終端AI晶片廠商，都出來分享相關的趨勢發展。

如果你對於AI晶片和記憶體的趨勢發展有興趣的話，我們把這次展會的重點整合在這篇分析中，會討論以下的議題：
1. 記憶體從元件到系統架構的發展趨勢
2. AI 正重新設計整個 Memory Hierarchy
3. 各層級的記憶體的發展趨勢

🔗完整文章歡迎從連結進入閱讀：
https://insights.redef.tech/

13/09/2026

[SEMICON Taiwan 2026 會後小聚 - Special Session by Redefine Innovation]

哈囉大家，上週SEMICON Taiwan 2026結束了，相信有去參加的人一定都很忙碌，因為這次應該是有史以來最大的一次展會。

而沒有機會參加的人，應該也很好奇這次的SEMICON有什麼重點。

因為有版友敲碗的原因，所以我們決定辦一場小聚讓大家有機會可以一起來討論這次SEMICON的心得。

而我們因為知道很多人可能會被淹沒在展場或是超級多演講資訊裡面 (需要花很多時間整理)，所以我們特別整理了這次SEMICON我們從整個展會裡面萃取的一些重點，可以分享給大家。

很久沒有公開小聚了，歡迎有興趣的版友或課程學員報名參加這次活動，活動資訊如下：
- 時間：9/20 (日) 13:30 - 16:30
- 地點：台北市大安區敦化南路一段339號11樓 (D.Lab)
- Keynote分享: SEMICON Taiwan 2026 Special Analysis by Redefine Innovation (中文分享)
- 費用：新台幣1000元
- 報名連結：https://www.accupass.com/event/2609081049101730898448

這次SEMICON有很多的資訊，我們特別幫大家整理了以下四個重點主題來跟大家分享：
(主要是根據我們的Silicon Constraint Model所分析出來的一些關鍵看點)

Advanced Process
- High NA EUV Technology Development
- Process Technologies for future 3D Logic, DRAM and NAND
- Material Innovation for 3D Devices

Heterogeneous Integration & System Scaling
- 3D Integration & STCO - Design and Process Innovation
- High Density Interconnect & Hybrid Bonding Technologies
- FOPLP
- Advanced Substrate Development

CPO
- CPO Roadmap & Heterogeneous Integration Challenges
- COUPE Development: “Fast and Narrow” and "Slow and Wide"
- Optical Interconnect Development
- CPO Component Readiness (laser / modulator / FAU...)

Memory
- Memory Demand Development and Bottlenecks
- New Memory Tier System Developments
- Multi-Dimensional Co-Design between Hardware (Memory, Logic, Interconnect) & Software

歡迎大家到時一起來討論這次的最新趨勢～
報名連結：🔗請見上方報名連結

12/09/2026

「SEMICON Taiwan 2026分析之二：System Technology Co-Optimization (STCO)」

這是這系列的第二篇。

這次SEMICON Taiwan，我們感受很強烈的地方是，過去是有專門的場次講先進封裝 / Heterogeneous Integration，但是這次是不管你是什麼場次都會講到先進封裝先進封裝 / Heterogeneous Integration😂。

表示這兩年，整個半導體產業有一個很大的典範轉移。

另外，就是過去講STCO (System Technology Co-Optimization)，比較像一個概念介紹，有些人在做，但是不會講得這個仔細。

而這次我們可以看到大家不僅討論討論STCO，實際上TSMC今年更是大力推動生態系的合作。

所以，這篇想跟大家分享的是，STCO (System Technology Co-Optimization) 我們看到的一些重點和最新趨勢。

目前簡單來說，可以分成四大類的STCO:
1. STCO for Computing Performance
2. STCO for Thermal Management
3. STCO for Power Scaling
4. Logic - Memory Integration

有興趣了解細節的版友歡迎閱讀最新一篇的分析：
https://insights.redef.tech/

07/09/2026

「SEMICON Taiwan 2026分析之一：從先進製程到3D IC」

今年的SEMICON Taiwan 2026，估計是有史以來最盛大的一屆，估計全球有超過10萬人參加，不僅象徵了現在半導體產業的熱度，這麼多人來台灣參展，也象徵了台灣在整個供應鏈中的重要性。

這次，我們全程參與了SEMICON Taiwan 2026，除了跟很多人聊以外，也很仔細的透過大家的分享和重要的演講，從技術發展和產業瓶頸的角度，來了解最新半導體產業最新的趨勢發展。

回來後，我們會將這些觀察，寫成一系列的文章 (SEMICON Taiwan 2026重點分析)，在這邊跟大家分享。有興趣的朋友，可以從留言處進入我們的新網站閱讀全文。

不過，在開始之前要先定調我們想要寫的是什麼。基本上，不會是一堆最新資訊的大雜燴，也不會是最新的小道消息。我們想要跟大家分享的，是經過判讀後在這個產業最重要的技術發展，或是卡住這個產業的瓶頸領域。

這系列的文章，基本上會是用這樣的框架，來去分析我們在SEMICON裡面看到的關鍵重點以及過濾掉不是主要瓶頸的東西。也就是說，用我們的分析框架，幫大家抓出重點，才是我們想要分享的。

所以，我們在這系列的文章裡，會用我們的”Silicon Constraint Model”，來挑出這次SEMICON Taiwan我們看到重要的一些關鍵技術和瓶頸發展。

先進製程對於系統效能提升仍然扮演關鍵的角色。所以第一篇，就讓我們來分享一下先進製程和3D IC結構製造的最新發展。

🔗完整文章連結：
https://insights.redef.tech/

31/07/2026

「Custom HBM - 半導體大廠的角力」

半導體產業的供應鏈這幾年發生了很大的變化，原本非常水平分層的供應鏈，在這幾年進行快速的垂直整合。

這是因為，半導體產業在產出和榨取算力的邏輯，已經從完全仰賴電晶體密度的增加，到更多垂直的整合和優化來提升系統效能。

這樣的變化，正在快速的改變半導體供應鏈，並且延伸出下一個半導體產業賽局。

▌從電晶體密度增加到系統整合導向

這樣的變化，可以從很多地方看得出來，如STCO (System Technology Co-Optimization) 的概念，就是透過系統架構的重新設計，和先進封裝等技術，來提升整體晶片系統的性能。

而一般我們可能會以為，我們就是透過堆疊更多的晶片來把算力堆上去，但可能忽略了一個更大的差異 (!)：
就是如果Logic晶片 (GPU / ASIC / XPU…) 和HBM的數量配比不對的話 (或是頻寬不夠的話)，就算運算晶片堆再多，AI晶片系統效能可能也會很糟糕。

所以我們會發現，提高AI系統算力的方法，除了增加電晶體數量以外，不同晶片的資源配置和系統整合，變得極為重要。OpenAI在設計晶片時，是先設計系統架構和最優化的資源配置，再來決定各種硬體 (Logic, Memory…..) 需要多少。

▌HBM為什麼重要

回到HBM，這在系統整合上，是一個非常好的例子。

現在在做AI Inference時，有很大一部分的時間其實是GPU在等HBM把資料傳過去，在某些情況，有可能90%以上的時間GPU都在idle，問題是出在HBM把資料送過去的頻寬上，因此，你加更多的運算晶片是沒有用的。反而是想辦法增加HBM和GPU中間的頻寬，可以大幅增加AI Inference的速度。

因此，Logic晶片 (GPU / ASIC….) 和HBM之間的整合性、頻寬的提升，反而是最有價值的。所以，你會看到Jensen Huang拼命跑韓國搶HBM產能，也和記憶體廠有很多合作，NVIDIA上週才公布了一個和SK Hynix的長期戰略合作，就是為了開發下一代的記憶體。

而你會發現，AI晶片系統開發上，有越來越多這樣子的例子。

▌Custom HBM - Logic & Memory的整合趨勢 | 未來半導體產業的新賽局

而在Logic & Memory整合越來越重要的情況下，HBM也從單純的標準化的DRAM堆疊，到接下來要開發的Custom HBM。原因是因為，GPU和HBM的頻寬是系統效能的很大瓶頸，而單純加大HBM的頻寬，發展的速度有限。因此，提高GPU或ASIC和HBM的整合度，就會是未來發展一個重要的方向。

所以，Custom HBM的構想被提出，試著將HBM的Base Die (Logic晶片，為TSMC……等Foundry製造) 做得更有效率，也透過將Base Die的升級，將更多的空間空出來，可以做更多運算或記憶體升級上的應用。

因此，Custom HBM象徵著Logic晶片和記憶體晶片的更深整合。

不過，這在產業商業賽局上也產生了一個新的賽局：一般來說，產業瓶頸都會有更大的話語權，如近期記憶體公司因為記憶體需求大增的關係，毛利大幅提昇，話語權也大大提高，但像NVIDIA、Google…..這樣的IC設計公司，還有TSMC這樣的Foundry，也都會希望話語權在自己的手上。

因為，IC設計公司希望繼續保有話語權，而記憶體公司不希望再被打回一般很容易被替代的Commodity記憶體市場，價格隨著市場週期載浮載沉。

因此，下一代Custom HBM設計的方式就變得很重要了，到底誰能保有關鍵差異的設計權或製造權，而誰會被推回標準化的規格仍然容易替代，或是IC設計公司、記憶體公司、Foundry三方各保有一部分的優勢，就決定了未來的半導體產業賽局會怎麼發展。

如果你對半導體產業接下來的技術和商業發展有興趣的話，我們在8/2這週日下午會回歸我們的半導體產業小聚，這次的主題就是「Custom HBM - 半導體大廠的角力」，在這個聚會中，有機會認識半導體產業的同好 (目前已經有40-50人報名)，中間會有一個主題分享，分享半導體產業的最新趨勢和Custom HBM的發展，現在還有少量位置，如果有興趣的板友們歡迎參加～

這次小聚的資訊如下：
- 時間：2026.08.02 (日) 13:30 - 16:30
- 地點: 富邦國際會議中心C廳（富邦敦北大樓的 B2F）
- 地址: 台北市敦化南路一段108號 B2F
- Keynote Sharing: 「Custom HBM - 半導體大廠的角力」
- 報名連結：
https://www.accupass.com/event/2606290537161626179008

19/04/2026

這兩天很多人出來發文嘲諷Jensen，發迷因把Jensen的頭放在一台汽車上，只因為他在過去那麼多正確的決策下有幾個不完美的決策。

如果你去看過去十年每一年的GTC大會，你就會知道很多事情Jensen的佈局和思考是看得很遠的。

但是，覺得很遺憾在NVIDIA已經在佈局下一個五到十年，針對下一個重要市場結構變化打造策略時，很多人還在用現在、甚至有點過時的市場資訊來評斷Jensen和NVIDIA的策略。

當很多人還覺得Inference Tokens只有成本一個指標時，市場已經開始演化出高階&中低階兩個不同的市場，也有不同的指標和適合的競爭策略。

市場正在演化到下一個新的結構，如果我們還在用舊的結構來去判斷NVIDIA的策略，自然沒辦法理解Jensen想要表達什麼。我想，任何一個能把公司能做到年成長超過70%的CEO，即便在所有CEO裡，都不能算是普通人、普通表現了吧？

Address

復興北路367號8樓
Taipei
105

Opening Hours

Monday	09:00 - 18:00
Tuesday	09:00 - 18:00
Wednesday	09:00 - 18:00
Thursday	09:00 - 18:00
Friday	09:00 - 18:00

Website

https://insights.redef.tech/

Alerts

Be the first to know and let us send you an email when Redefine Innovation posts news and promotions. Your email address will not be used for any other purpose, and you can unsubscribe at any time.

Contact The Business

Send a message to Redefine Innovation: