그림을 이해해야 할텐데 ...

비타민D님의 게시글

2026-04-27T04:13:53.289728Z

그림을 이해해야 할텐데 ...

AI를 움직이는 5가지 하드웨어 아키텍처

핵심 차이는 유연성, 병렬성, 메모리 접근 방식

📌 1. CPU 범용 연산용. 복잡한 로직, 분기 처리, OS·DB 같은 시스템 작업에 강함

다만 대규모 행렬 연산처럼 반복적인 병렬 계산에는 비효율적

📌 2. GPU 수천 개의 작은 코어가 같은 명령을 여러 데이터에 동시에 적용

신경망 학습의 행렬 연산과 잘 맞아 AI 학습의 중심

📌 3. TPU 신경망 전용 가속기

MAC 유닛이 격자 형태로 배치되고, 데이터가 흐르듯 이동하며 연산

메모리 왕복을 줄이고, 컴파일러가 실행을 제어

📌 4. NPU 엣지 AI용 구조

MAC 배열과 온칩 SRAM을 활용하되, HBM 대신 저전력 시스템 메모리를 씀

스마트폰, 웨어러블, IoT처럼 전력 예산이 작은 기기에서 추론을 수행하는 데 최적화

📌 5. LPU Groq가 제시한 언어모델 특화 아키텍처.

가중치를 온칩 SRAM에 두고, 실행을 완전히 결정론적으로 컴파일.

캐시 미스와 런타임 스케줄링 오버헤드를 줄여 낮은 지연시간을 노림

다만 온칩 메모리 용량이 제한적이기 때문에 대형 모델을 구동하려면 여러 칩을 연결해야 함

댓글