[IT๋์ ๋จ์ํ ๊ธฐ์] ํ์ง์๊ฐ์ผ๋ก ์ง๋ 11์ 15์ผ๋ถํฐ ์ค๋ 20์ผ๊น์ง ๋ฏธ๊ตญ ์ผ๋ฆฌ๋
ธ์ด ์ฃผ ์์นด๊ณ ๋งค์ฝ๋ฏน ํ๋ ์ด์ค์์ ์ธ๊ณ ์ต๋ ๊ท๋ชจ์ ์ํผ์ปดํจํฐ ๋ฐ AI ์ธํ๋ผ ๊ด๋ จ ์ฝํผ๋ฐ์ค โSC26(The International Conference for High Performance Computing, Networking, Storage, and Analysis)โ๊ฐ ๊ฐ์ต๋๋ค. SC26์ ๊ณ ์ฑ๋ฅ ์ปดํจํ
(HPC), ์ํผ์ปดํจํฐ, AI ์ธํ๋ผ, ๋คํธ์ํฌ ๋ฐ ์คํ ๋ฆฌ์ง ๊ด๋ จ ๊ธฐ์
๋ฐ ์ฐ๊ตฌ๊ธฐ๊ด์ด ์ฐธ์ฌํ๋ ๊ตญ์ ํ์ฌ๋ก ์ฌํด๋ AI ์ถ๋ก ์ธํ๋ผ, ๋ฉ๋ชจ๋ฆฌ ํ์ฅ ๊ธฐ์ , GPU ์์ ํ์ฉ๊ณผ ๊ด๋ จ๋ ๊ณ ๋ํ๋ ์ปดํจํ
๊ธฐ์ ๋ค์ด ๋๊ฑฐ ์ ๋ณด์ธ๋ค. ์ฐธ์ฌ ๊ธฐ์
๋ฐ ๊ธฐ๊ด์ ์ด 589๊ณณ์ด๋ฉฐ, ์ฝ 2๋ง 2000์ฌ ๋ช
์ ์ฐ๊ตฌ์ ๋ฐ ๊ธฐ์
๊ด๊ณ์๊ฐ ์ฐธ์ ์์ ์ด๋ค. ํ์ง์๊ฐ์ผ๋ก 11์ 15์ผ์์ ์ค๋ 20์ผ ์ฌ์ด ๋ฏธ๊ตญ ์ผ๋ฆฌ๋
ธ์ด ์ฃผ ์์นด๊ณ ๋งค์ฝ๋ฏน ํ๋ ์ด์ค์์ SC26์ด ์งํ๋๋ค / ์ถ์ฒ=SC26 ๊ธฐํ์์ํ ์ฐ๋ฆฌ๋๋ผ์์๋ ์ผ์ฑ์ ์์ SKํ์ด๋์ค ์ด์ธ์๋ ํจ๋ฆฌ์ค์ฌAI, ๋ฆฌ๋ฒจ๋ฆฌ์จ, ๋ง๊ณ ๋ถ์คํธ, ๋ชจ๋ , ๋๋ธ์
, ํ๋ค์์๊ฐ ์ ์ ๋ถ์ค๋ฅผ ์ด์ํ๋ค. ํ์ดํผ์์
, ์์๋, ํ๋, ์ฟจ๋ง์ดํฌ๋ก, ์ธ๋ฏธํ์ด๋ธ, ์ํผ๊ฒ์ดํธ๊น์ง ๊ตญ๋ด ๋ฐ๋์ฒด ๊ธฐ์
6๊ณณ์ด AI ๋ฐ๋์ฒด ์ฝ๋ฆฌ์ ๊ณต๋๊ด์ผ๋ก ์ฐธ์ฌํ๋ค. ๊ตญ๋ด ์ฃผ์ ์ฐ๊ตฌ๋ก๋ SKํ์ด๋์ค, ์๊ฐ๋, ๋ชจ๋ ๊ฐ ์ฐ๊ตฌ ์ฑ๊ณผ๋ฅผ ๋ฐํํ๋ฉฐ, KISTI(ํ๊ตญ๊ณผํ๊ธฐ์ ์ ๋ณด์ฐ๊ตฌ์) ETRI(ํ๊ตญ์ ์ํต์ ์ฐ๊ตฌ์), GIST(๊ด์ฃผ๊ณผํ๊ธฐ์ ์), ์ค์๋ยท๋ฒ์ง๋์ ์ฐ๊ตฌํ๋ ์ฑ๊ณผ๋ฅผ ๋ฐํํ๋ค. ๋ง๊ณ ๋ถ์คํธ ์์ง์๋ค์ด SC26 ์ ์ ๋ถ์ค ์์์ ๊ธฐ๋
์ดฌ์์ ํ๊ณ ์๋ค. ์ผ์ชฝ๋ถํฐ ๋ฆฌ์ฐจ๋ ๋ฆฐ(Richard Lin) ์ ํ ๋ฐ ์ฌ์
๊ฐ๋ฐ ์ฝ๋๋ค์ดํฐ, ๊ฐ๋ธ๋ฆฌ์ ์ฑํ๋จผ(Gabriel Chapman) ์ฌ์
๊ฐ๋ฐ ๋๋ ํฐ, ์ ํฌํ ์์คํ
์ํคํ
ํธ, ๋งคํ ์๋ฆฌ์์ค(Matthew Williams) ํ๋ ์ต๊ณ ๊ธฐ์ ์ฑ
์์ / ์ถ์ฒ=๋ง๊ณ ๋ถ์คํธ ์ฃผ์ ๊ด์ ํฌ์ธํธ๋ก๋ โฒ ๊ตญ์ฐ AI ๊ฐ์๊ธฐ์ ๋ ๋จ์ ์ ์ โฒ HBM์ ๋์ด CXL ๋ฑ ์ฐจ์ธ๋ ๋ฉ๋ชจ๋ฆฌ ์ค์ฌ์ AI ์ธํ๋ผ ์ ํ โฒ ์ด๊ธฐ์ข
์ถ๋ก ์ํํธ์จ์ด ๋ฑ์ด ์๋ค. ๊ธฐ์
๋ฉด๋ฉด์ผ๋ก๋ ํจ๋ฆฌ์ค์ฌAI๊ฐ RNGD ๋ฐ RNGD NXT๋ฅผ ์ ๋ณด์ด๋ฉฐ, ๋ฆฌ๋ฒจ๋ฆฌ์จ์ ๋ฆฌ๋ฒจ 100 ๋ฐ ๋ฆฌ๋ฒจ๋(RebelRack) ๊ธฐ๋ฐ์ ์๋ฒ์ฉ ์ธํ๋ผ๋ฅผ ์ ๋ณด์ธ๋ค. ํ์ดํผ์์
์ ๋ฒ ๋ฅด๋ค LPU 8๊ฐ๋ฅผ ์ฐ๊ฒฐํ ์๋ฒ ์์คํ
์, ๋๋
ธํฐ์์๋ VDPU(๋ฒกํฐ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์ฅ์น) ๊ธฐ๋ฐ์ ๋ฒกํฐ ๊ฒ์ ์์ฐ์ ์ ์ํ๋ค. ์ํํธ์จ์ด ์ธก๋ฉด์์๋ ๋๋ธ์
์ด ๋ฐฑ์๋๋ท์์ด์์ด(Backend.AI)์ ์ฌ๋ผ ํ๋ก ํธ์ค๋ ์ฐ๋๊ณผ ๋ณด์ ํ๊ฒฝ์ ์ํ ์ฝํผ๋ด์
AI(Confidential AI )๋ฅผ ์ ๋ณด์ด๋ฉฐ, ๋ชจ๋ ๋ AMDยท์๋น๋์ GPU๋ฅผ ํผํฉํด ์๋น์คํ๊ณ ์ ์กฐ์ฌ ๊ฐ KV ์บ์๋ฅผ ์ ๋ฌํ๋ MoAI๋ฅผ ์์ฐํ๋ค. ์ธํฐ์ปค๋ฅํธ ๋ฐ ์ ์ฅ์ฅ์น ํ๋ก์ธ์ฑ ๊ด๋ จ์ผ๋ก๋ ํ๋ค์์๊ฐ PCIe 6.4ยทCXL 3.2 ํจ์ ์ค์์น๋ฅผ ์ ์ํ๊ณ , ์์๋๋ CXL 3.2 ๊ธฐ๋ฐ ์ฐ์ฐ ๋ฉ๋ชจ๋ฆฌ MX1์ ํ์ฉํ ์ํ์น ์คํํฌ ์ฟผ๋ฆฌ๋ฅผ MX1 ์ฐ์ฐ๊ณผ ์ฐ๋ํ๋ XFLARE ์์ฐ ๋ฐ ๊ด๋ จ ์๋ฃจ์
์ ์๊ฐํ๋ค. ๋ง๊ณ ๋ถ์คํธ, ์ผ๋ณธ AI ๊ธฐ์
โํ๋ฆฌํผ๋ ๋คํธ์์คโ์ ํ๋ ฅ ๋ฐํ ํ์นดํ๋ก ์ค๊ตฌ๋ผ(Takahiro Ogura) ํ๋ฆฌํผ๋ ๋คํธ์์ค AI ์ปดํจํ
๋ถ๋ฌธ ๋ถ์ฌ์ฅ(์ข)์ ๊น์ฅ์ฐ ๋ง๊ณ ๋ถ์คํธ ๋ํ(์ฐ) / ์ถ์ฒ=๋ง๊ณ ๋ถ์คํธ ์ฌํด SC26์์ ์ฃผ๋ชฉํ ๋งํ ํ๋ ฅ ์์์ ๋ฐํํ ๊ธฐ์
์ ๋ง๊ณ ๋ถ์คํธ๋ค. ๋ง๊ณ ๋ถ์คํธ๋ AI ์ธํ๋ผ ํ์คํ ์ต์ ํ ์ ๋ฌธ ๊ธฐ์
์ผ๋ก AMD GPU ๊ธฐ๋ฐ์ ์๋ฒ ์ธํ๋ผ ๋ฐ ์ํํธ์จ์ด, ์ด๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ ์ถ๋ก ์๋น์ค โ๋ง๊ณ ์ธํผ๋ฐ์คโ๊น์ง AI ์ธํ๋ผ ์ ๋ฐ์ ๋ค๋ฃจ๋ ๊ธฐ์ ๊ธฐ์
์ด๋ค. ์ด๋ฒ์ ๋ง์์ ์ก์ ํ๋ฆฌํผ๋ ๋คํธ์์ค๋ ๊ตญ๋ด์์๋ ์ ์๋ ค์ ธ ์์ง ์์ผ๋ ์์ฒด ์ํคํ
์ฒ๋ก ๊ตฌ์ถํ โMN-์ฝ์ดโ ๊ธฐ๋ฐ์ AI ๊ฐ์๊ธฐ์ ๋ํ์ธ์ด๋ชจ๋ธ โPLaMoโ๋ฅผ ๋์์ ๊ฐ๋ฐ ์ค์ด๋ค. ์ง๋ 10์์๋ ์บ๋๋ค์ AI ๊ฐ์๊ธฐ ๊ธฐ์
ํ
์คํ ๋ ํธ์ ์ผ๋ณธ ์ ์๋์งยท์ฐ์
๊ธฐ์ ์ข
ํฉ๊ฐ๋ฐ๊ธฐ๊ตฌ(NEDO)์ ๊ด์ ์ตํฉ AI ํ๋ก์ธ์ ๊ณต๋ ๊ฐ๋ฐ๋ ์์ํ๋ค. ์์ฌ ์ฌํด SC26์์ ์ด๊ธฐ์ข
์ปดํจํ
๊ธฐ๋ฐ์ ๊ณ ํจ์จ AI ์ถ๋ก ์์คํ
์ ๊ณต๋ ๊ฒ์ฆ์ ๋์ ๋ค. ํ์ฌ ๋ง๊ณ ๋ถ์คํธ์ ์ฃผ๋ ฅ ๋ถ์ผ์ธ AMD GPU ๋ฑ๊ณผ ํ๋ฆฌํผ๋ ๋คํธ์์ค์ MN-์ฝ์ด ๊ธฐ๋ฐ AI ํ๋ก์ธ์, ๊ทธ๋ฆฌ๊ณ ๋ง๊ณ ๋ถ์คํธ์ ๋ฐ์ดํฐ ํ๋ก์ธ์ฑ ์ ๋(DPU) ๊ธฐ๋ฐ์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฐ ๋คํธ์ํน ๊ธฐ์ , KV ์บ์ ํ๋ง ์คํ ๋ฆฌ์ง, ํ๋ฆฌํ ๋ฐ ๋์ฝ๋ ๋ถ๋ฆฌ, ์๋ฃจ์
์ ๊ฒฐํฉํ๋ค. ๋ ๊ธฐ์
์ ํ๋ ฅ์ ํตํด AI ํ ํฐํฉํ ๋ฆฌ์ ๊ธฐ์ ์ ํ ๊ฐ๋ฅ์ฑ์ ๊ฒ์ฆํ๋ค๋ ๊ณํ์ด๋ค. ํ๋ฆฌํผ๋ ๋คํธ์์ค๊ฐ ๊ฐ๋ฐ ์ค์ธ MN-์ฝ์ด 1์ธ๋์ 2์ธ๋ ์ฑ๋ฅ ๋น๊ต / ์ถ์ฒ=ํซ์นฉ์ค ํ๋ฆฌํผ๋ ๋คํธ์์ค๊ฐ ๋
์์ ์ผ๋ก ๊ฐ๋ฐ์ค์ธ โMN-์ฝ์ดโ๋ ํ์ต ๋ฐ HPC์ฉ ํ๋ก์ธ์๋ค. MN-์ฝ์ด๋ ๋คํธ์ํฌ ์ ์ด, ์บ์ ์ปจํธ๋กค๋ฌ, ๋ช
๋ น ์ค์ผ์ค๋ฌ ๋ฑ ์ผ๋ฐ ํ๋์จ์ด ๊ธฐ๋ฅ์ ์ ์ธํ๊ณ ์นฉ ๋ฉด์ ์ ์์ ์ฐ์ฐ ์ ๋์ผ๋ก ์ฑ์ฐ๋ ๋ฐฉ์์ ์ฑํํ๋ค. ์ด๋ฌํ ์ค๊ณ๋ฅผ ํตํด ๋์ ์ ๋ ฅ ํจ์จ์ ํ๋ณดํ์ผ๋ฉฐ ์ํผ์ปดํจํฐ ์๋์ง ํจ์จ ์์์ธ Green500์์ MN-์ฝ์ด ๊ธฐ๋ฐ์ MN-3๊ฐ ์ฌ๋ฌ ์ฐจ๋ก 1์๋ฅผ ๊ธฐ๋กํ๊ธฐ๋ ํ๋ค. ๋ค๋ง 2024๋
์ถ์๋ 2์ธ๋ ์ ํ์ธ MN-์ฝ์ด 2์ TF16 ์ฐ์ฐ ์ฑ๋ฅ์ 393 TFLOPS(ํ
๋ผํ๋กญ์ค)๋ก AMD ์ธ์คํ
ํธ MI355X์ 2500 TFLOPS, ์๋น๋์ ๋ฃจ๋น GPU์ 4000 TFLOPS์ ๋นํด ํฌ๊ฒ ๋จ์ด์ง๋ฉฐ, ๋ฉ๋ชจ๋ฆฌ ์ฉ๋๋ ๋ฃจ๋น ๋๋น 18๋ฐฐ๋ ์ฐจ์ด๋๋ค. ์ ์ ๋ ฅ ํ์ต ์ฉ๋๋ก๋ ๋ฌด๋ํ๊ฒ ์ผ๋ ์๋น๋์ GPU์ ํ์ต ๋ฐ ์ถ๋ก ์ ๋ชจ๋ ๋งก๊ธฐ๊ฑฐ๋, ์ด๊ธฐ์ข
์ปดํจํ
์ผ๋ก ์ธ๋ถ AI ๊ฐ์๊ธฐ๋ฅผ ์ถ๋ก ์ฉ๋๋ก ๋๋ฆฌ๋ ํฅํ AI ์ธํ๋ผ ํ๊ฒฝ์ ๋์ํ๊ธฐ๋ ์ด๋ ต๋ค. ์ด์ ํ๋ฆฌํผ๋ ๋คํธ์์ค๋ ๊ธฐ์กด MN-Core์ ์ ์ ๋ ฅ ์ฐ์ฐ ๊ตฌ์กฐ๋ฅผ ๊ณ์นํ๋ฉด์ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ๊ณผ ์ฉ๋์ ํ๋ํ ์ถ๋ก ์ ์ฉ MN-Core L ์๋ฆฌ์ฆ๋ฅผ ๊ฐ๋ฐํ๊ณ ์๋ค. ํ๋ฆฌํผ๋ ๋คํธ์์ค๊ฐ ๊ฐ๋ฐํ 2์ธ๋ AI ๊ฐ์๊ธฐ MN-Core 2. ํ์ต ๋ฐ ๊ณ ์ฑ๋ฅ ์ปดํจํ
์ ํนํ๋ ๋
์ ์ํคํ
์ฒ๋ฅผ ์ฑํํ๋ค / ์ถ์ฒ=ํ๋ฆฌํผ๋ ๋คํธ์์ค ์ด๋ฒ์ SC26์์ ์ ๋ณด์ด๋ MN-์ฝ์ด L1000์ ์์ฑํ AI ์ถ๋ก ์ ์ฉ ํ๋ก์ธ์๋ค. ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ฐ์ฐ ์ฅ์น ์์ ์์ง์ผ๋ก ์์์ฌ๋ฆฌ๋ 3D D๋จ ๋ฐฉ์์ผ๋ก ์ ์กฐ๋ผ ๋ฐ์ดํฐ ์ ์ก ๋์ญ ์๋๋ฅผ ๊ธฐ์กด MN-์ฝ์ด 2 ๋๋น ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ ๊ธฐ์กด ๋๋น ์ต๋ 50๋ฐฐ์ธ ์ด๋น 25.6TB๋ก ํฌ๊ฒ ๋์ด์ฌ๋ฆฌ๋ ๊ฒ์ด ๋ชฉํ๋ค. ๊ตฌ์ฒด์ ์ธ ์ฑ๋ฅ ๋ฑ์ ํ์ธ๋์ง ์์ง๋ง ๋น ๋ฅธ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ ์์ธ์ ์ถ๋ก ์ฉ๋๋ก๋ ๋์ํ์๋ ๊ฒ์ด ๊ณํ์ด๋ค. ๋ง๊ณ ๋ถ์คํธ๋ ์
๋ ฅ ํ๋กฌํํธ๋ฅผ ์ฒ๋ฆฌํ๋ ํ๋ฆฌํ ๋จ๊ณ์์๋ GPU๋ฅผ ํ์ฉํ๊ณ , ํ ํฐ์ ์์ฑํ๋ ๋์ฝ๋ ๋จ๊ณ์์๋ MN-์ฝ์ด ๊ธฐ๋ฐ์ ์ ํ์ ์ฌ์ฉํ๋ ์ด๊ธฐ์ข
์ถ๋ก ์ํคํ
์ฒ ๊ตฌ์์ ๋์ ๋ค. ๋ง๊ณ ๋ถ์คํธ๋ DPU ๊ธฐ๋ฐ ์ฒ๋ฆฌ ๊ธฐ์ , KV ์บ์ ์ต์ ํ ์๋ฃจ์
์ ํตํด ๋ค๋ฅธ ์ปดํจํ
์์ ๊ฐ์ ๋ฐ์ดํฐ ์ ์ก, KV ์บ์์ ์ ์ฅ ๋ฐ ์ด๋, ์ฌ์ฌ์ฉ ์ต์ ํ๋ ์ ์ฉํ ๊ณํ์ด๋ค. ์๋ฎฌ๋ ์ด์
ํ๊ฒฝ์์ ์คํ ๊ฐ๋ฅ์ฑ์ด ํ๋ณด๋๋ฉด ํฅํ MN-์ฝ์ด L1000 ํ๋์จ์ด๋ฅผ ํ๋ณดํด ํ๋์จ์ด ๊ธฐ๋ฐ ์ฑ๋ฅ ๊ฒ์ฆ์๋ ๋์ ๋ค. ํํธ ํ๋ฆฌํผ๋ ๋คํธ์์ค๋ ๋ด๋
์ค L1000์ ์ ์ ๋ ฅ ๋ฒ์ ์ธ L1100๊ณผ ๊ณ ์ฑ๋ฅ ๋ฒ์ ์ธ L1400๋ ํจ๊ป ์ถ์ํ๊ณ , ์ธ๋ฏธํ์ด๋ธ์ ํจ๊ป MN-์ฝ์ด L1000์์ ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ ๋ ๋ฐฐ๊ฐ๋ ๋์ธ L2000๋ฅผ ๋ด๋
1๋ถ๊ธฐ ์ค ํ
์ดํ์์ ํ๋ค๋ ์์ ์ด๋ค. ํ๋ฆฌํผ๋ ๋คํธ์์ค๋ ์ค์ฆ ํ๋ณด, ๋ง๊ณ ๋ถ์คํธ๋ ์ํฅ๋ ฅ ํ๋ ์์ SC26 AMD ์ ์ ๋ถ์ค์์ ๋ผ์ฐจํ ์์ฐ์ฌ์๋ฃฝ๋๋ฃฌ(Rachata Ausavarungnirun) ๋ง๊ณ ๋ถ์คํธ AI ์์คํ
์ํคํ
์ฒ ์ด๊ด๊ณผ ํ์ด๋ ์น(Peiran Qin, ๋ค์ชฝ ๋ชจ๋ํฐ ์) ์ํํธ์จ์ด ์์ง๋์ด๊ฐ AI ์ถ๋ก ์ต์ ํ ๊ธฐ์ ๋ง๊ณ ์ธํผ๋ฐ์ค ๋ฐ MLPerf ๋ฒค์น๋งํฌ ์ฑ๊ณผ๋ฅผ ์๊ฐํ๊ณ ์๋ค / ์ถ์ฒ=๋ง๊ณ ๋ถ์คํธ ์ด๋ฒ ํ๋ ฅ์ ๋ง๊ณ ๋ถ์คํธ๊ฐ ๊ธฐ์กด์ ํ๋ณดํ ์ด๊ธฐ์ข
GPU ์์ ํ๋ง๊ณผ ๋ถ์ฐํ AI ์ถ๋ก ๊ธฐ์ ์ ๋
์ ์ํคํ
์ฒ์ AI ํ๋ก์ธ์๊น์ง ํ๋ํ๋ค๋ ์ ์์ ์๋ฏธ๊ฐ ์๋ค. ๋ง๊ณ ๋ถ์คํธ๋ 2025๋
MLPerf ์ถ๋ก v5.1์์ AMD MI300X์ MI325X๋ฅผ ํ๋์ ์ถ๋ก ์์คํ
์ผ๋ก ๊ตฌ์ฑํ ๋ฐ ์ด์ด, 2026๋
v6.0์์๋ ํ๊ตญ๊ณผ ๋ฏธ๊ตญ์ ๋ถ์ฐ๋ MI300XยทMI325XยทMI355X๋ฅผ ํตํฉ ์ด์ํ๋ค. ์ดํ v6.1์์๋ ๋ง๊ณ ๋ถ์คํธ์ ๋ง์ดํฌ๋ก์ํํธ ์ ์ , ํ
์์จ์ด๋ธ, ๋ธ ํ
ํฌ๋๋ก์ง์ค ๋ฑ 4๊ฐ ์ฌ์
์์ ๋ฐ์ดํฐ์ผํฐ์ ๋ฐฐ์น๋ GPU 32๊ฐ๋ฅผ ํ๋์ LLMBoost ์๋น ํ๋ก ๊ตฌ์ฑํ๋ค. ์ด๋ ์๋ก ๋ค๋ฅธ ์ง์ญ๊ณผ ์ธ๋์ GPU์ AI ์ถ๋ก ์์ฒญ์ ๋ถ์ฐํ๊ณ , ๊ฐ๋ณ ์์คํ
์ ์ปดํจํ
์์์ ํตํฉ์ ์ผ๋ก ํ์ฉํ ์ ์์์ ๋ณด์ฌ์ค ์ฌ๋ก๋ค. ๋ง๊ณ ๋ถ์คํธ๋ ์ด๋ฌํ ๋ถ์ฐ ์ถ๋ก ๊ธฐ์ ์ ๋ท๋ฐ์นจํ๊ธฐ ์ํด LLMBoost์ ์ถ๋ก ์์ฒญ ๋ถ์ฐ ๋ฐ ์ค์ผ์ค๋ง, ํ๋ฆฌํยท๋์ฝ๋ ๋ถ๋ฆฌ, DPU ๊ธฐ๋ฐ ๋ฐ์ดํฐ ์ด๋ ๊ฐ์๊ณผ KV ์บ์ ๊ณ์ธต ์ต์ ํ ๊ธฐ์ ์ ๊ฐ๋ฐํ๊ณ ์๋ค. ํนํ GPU์ ๊ณ ๋์ญํญ๋ฉ๋ชจ๋ฆฌ(HBM)์ ์ ์ฅ๋๋ KV ์บ์๋ฅผ ์์คํ
๋ฉ๋ชจ๋ฆฌ์ SSD, ๋คํธ์ํฌ ์ฐ๊ฒฐ ์คํ ๋ฆฌ์ง ๋ฑ G3.5ยทG4 ๊ณ์ธต์ผ๋ก ํ์ฅํ๊ณ , ๋ฐ์ดํฐ ์ ์ก ๋ฐ ๊ด๋ฆฌ ๊ณผ์ ์์ ๋ฐ์ํ๋ CPU ๋ถ๋ด์ DPU๋ก ๋ถ์ฐํ๋ ๊ฒ์ด ํต์ฌ์ด๋ค. ๋ง๊ณ ๋ถ์คํธ์ ๋ถ์คํธX RoCE AI 400Gbps RDMA ์๋ฃจ์
๋ฐ์ดํฐ ์ฒ๋ฆฌ ํ๋ก์ธ์ / ์ถ์ฒ=IT๋์ ํ๋ฆฌํผ๋ ๋คํธ์์ค์์ ํ๋ ฅ์์๋ ์ด๋ฅผ GPU์ MN-Core L1000 ์ฌ์ด์ KV ์บ์ ์ ๋ฌ ๋ฐ ์ฌ์ฌ์ฉ์ ์ ์ฉํ๊ณ , ์ฐ์ฐ ์ง์ฝ์ ์ธ ํ๋ฆฌํ์ GPU๊ฐ, ๋ฉ๋ชจ๋ฆฌ ๋์ญํญ์ ๋ฏผ๊ฐํ ๋์ฝ๋๋ MN-Core๊ฐ ๋ด๋นํ๋ ์์คํ
์ ๊ฒ์ฆํ ๊ณํ์ด๋ค. ๊ธฐ์ ๊ฒ์ฆ์ ์ฑ๊ณตํ๋ค๋ฉด ๋ง๊ณ ๋ถ์คํธ๋ ๊ธฐ์กด GPU ์ค์ฌ์ ๋ถ์ฐ ์ถ๋ก ํ๊ฒฝ์ ์๋ก ๋ค๋ฅธ ์ ์กฐ์ฌ์ AI ๊ฐ์๊ธฐ๊น์ง ํ์ฅํ๊ณ , ๋ฉ๋ชจ๋ฆฌยท๋คํธ์ํฌยท์คํ ๋ฆฌ์ง ์์์ ํตํฉํ๋ ์ด๊ธฐ์ข
AI ์ธํ๋ผ ๊ธฐ์ ์ ์ ์ฉ ๋ฒ์๋ฅผ ๋ํ ์ ์์ ์ ๋ง์ด๋ค. ๊น์ฅ์ฐ ๋ง๊ณ ๋ถ์คํธ ๋ํ๋ โ์ฐจ์ธ๋ AI ์ถ๋ก ์ธํ๋ผ์ ๊ฒฝ์๋ ฅ์ ๋จ์ํ ๋ ๋ง์ ์ปดํจํ
์์์ ํ๋ณดํ๋ ๊ฒ ์๋๋ผ ์๋ก ๋ค๋ฅธ ํ๋ก์ธ์์ ๋ฉ๋ชจ๋ฆฌ, ์ ์ฅ์ฅ์น ์์์ ์ผ๋ง๋ ํจ์จ์ ์ผ๋ก ์ฐ๊ฒฐํ๊ณ ์ต์ ํํ๋๊ฐ์ ๋ฌ๋ ธ๋คโ๋ผ๋ฉด์ โํ๋ฆฌํผ๋ ๋คํธ์์ค์์ ํ๋ ฅ์ ๋ง๊ณ ๋ถ์คํธ์ DPU ๋ฐ ํ์คํ AI ์ธํ๋ผ ์ต์ ํ ๊ธฐ์ ์ ์ด๊ธฐ์ข
์ปดํจํ
ํ๊ฒฝ์ผ๋ก ํ์ฅํ๋ ์ค์ํ ๊ณ๊ธฐ๊ฐ ๋ ๊ฒโ์ด๋ผ๊ณ ๋งํ๋ค. โ์์ผ๋ก ๊ธ๋ก๋ฒ ๊ธฐ์ ํํธ๋์์ ํ๋ ฅ์ ๊ฐํํ๊ณ , ๋ ํจ์จ์ ์ด๊ณ ํ์ฅ ๊ฐ๋ฅํ AI ํ ํฐ ํฉํ ๋ฆฌ ์ํคํ
์ฒ์ ๊ฐ๋ฅ์ฑ์ ๊ฒ์ฆํด๋๊ฐ ๊ฒโ์ด๋ผ๊ณ ๋ ๋ง๋ถ์๋ค. IT๋์ ๋จ์ํ ๊ธฐ์ (sh@itdonga.com)