[IT๋์ ๋จ์ํ ๊ธฐ์] AI ๋ชจ๋ธ ์์ํ ๊ธฐ์ ๊ธฐ์
๋
ธํ(Nota)๊ฐ ์ 43ํ ๊ตญ์ ๋จธ์ ๋ฌ๋ํํ(International Conference on Machine Learning, ICML 2026)์ ์ธ๋ถ ์ํฌ์ โAdaptFM: ์์ ์ ์ํ ํ์ด๋ฐ์ด์
๋ชจ๋ธ ์ถ๋ก โ์์ โฒ DREAM-MoE: ์ ๋ฌธ๊ฐ ํผํฉํ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ์ํ ๋ค์ด์คํธ๋ฆผ ๋ผ์ฐํ
์ค๋ฅ ์ธ์ ๋ง์ง ๋ณด์กด ์์ํ โฒ SRA-MoE: MoE ์์ํ๋ฅผ ์ํ ์ถ๋ ฅ ์ธ์ ์ ํ์ ๋ผ์ฐํฐ ์ ๋ ฌ ๋ ๊ฐ์ ๋
ผ๋ฌธ์ ์ ์ ๋ฐํํ๋ค. AdaptFM์ ๋๊ท๋ชจ ํ์ด๋ฐ์ด์
๋ชจ๋ธ์ ์ถ๋ก ๊ณผ์ ์์ ๋ฐ์ํ๋ ๋ง๋ํ ์ฐ์ฐ ๋น์ฉ๊ณผ ์์ ์ ์ฝ์ ํด๊ฒฐํ๊ธฐ ์ํด ์กฐ์ง๋ โ์์ ์ ์ํ ์ถ๋ก ๊ธฐ์ ์ฒด๊ณ ๋ฐ ์ํฌ์โ์ด๋ค. AdaptFM ์ํฌ์์ ํ์ด๋ฐ์ด์
๋ชจ๋ธ์ ์
๋ ฅ ๋ณต์ก๋์ ์์คํ
์์ ์ํ ๋ฑ์ ๊ณ ๋ คํด ํจ์จ์ ์ผ๋ก ์ถ๋ก ํ๋ ๊ธฐ์ ์ ๋ค๋ฃฌ๋ค. ์ข์ธก๋ถํฐ ๊นํํธ ๋
ธํ ์ต๊ณ ๊ธฐ์ ์ฑ
์์, ๊น๋ณด๊ฒฝ ๋
ธํ AI ์๋์ด ๋ฆฌ์์ฒ, ๋ฐํ์ฒ ๋
ธํ ํ
ํฌ ๋ฆฌ๋, ์ด๊ฑดํธ ๋
ธํ ์ฃ์ง AI ์์ง๋์ด, ์ ์ฑ์ ๋
ธํ AI ๋ฆฌ์์น ์์ง๋์ด / ์ถ์ฒ=๋
ธํ ํต์ฌ ์ฐ๊ตฌ ์์ญ์ ๋ชจ๋ธ์ ํ์ต์ด ๋๋ ์ดํ ์ถ๋ก ๋จ๊ณ์์ ์์์ ํจ์จ์ ์ผ๋ก ํ์ฉํ๊ณ ์ ์ดํ ์ ์๋ ๋ถ๋ถ๋ค์ด๋ค. ์ฌ๊ธฐ์๋ โฒ ๋ ์ด์ด ๊ฑด๋๋ฐ๊ธฐ ๊ฐ์ ์ ์ฐํ ์ํคํ
์ฒ ๊ตฌ์กฐ โฒ ๊ฒฐ๊ด๊ฐ์ ์ฌ์ฐธ์กฐํ๋ ์ฌ๊ท์ ์ถ๋ก ๋ฑ์ ์ฐ์ฐ โฒ๋์ ๋คํธ์ํฌ ๋ฐ ๋ผ์ฐํ
โฒ ํ
์คํธ ์์ฑ ์ ๋์ฝ๋ฉ ๋ฐ ํ ํฐ ์์ค์ ์ต์ ํ ๊ธฐ๋ฒ โฒ ์์ํ, ๊ฐ์ง์น๊ธฐ, ์ง์ ์ฆ๋ฅ ๋ฑ ๋ชจ๋ธ ์์ถ ๋ฐ ๊ฐ์ํ โฒ ํ๋์จ์ด์ ์ํํธ์จ์ด์ ์ฐ๊ฒฐ์ ์ธ ๋์์ธ ๋ฑ์ด๋ค. ๋
ธํ๊ฐ ์ ์ํ DREAM-MoE, SRA-MoE์ ๋ํ์ธ์ด๋ชจ๋ธ ๊ตฌ๋ ์ ํจ์จ์ ์ผ๋ก ์ฐ์ฐ์ ์ฒ๋ฆฌํ๋ ์ ๋ฌธ๊ฐ ๋ชจ๋ธ(Mixture-of-Experts, MoE) ๊ตฌ์กฐ์ ๊ด๋ จ๋๋ค. DREAM-MoE๋ ๋๊ท๋ชจ AI ๋ชจ๋ธ์ GPU์ ๋๋ ๋ค์ด๊ฐ ์ ์๋ ๋จ์๋ก ๋ฃ์ด ์์ฐจ์ ์ผ๋ก ์์ํํ ๋ ์์์ ์๊ธด ์์ ์ค์ฐจ๊ฐ ๋ค์ชฝ์ ์ ๋ฌธ๊ฐ ์ ํ์ ๋ฐ๊ฟ ์ ์๋ ํ์์ ์ ์ดํ๋ ๊ธฐ์ ์ด๋ฉฐ, SRA-MoE๋ ๋ชจ๋ธ ๊ฒฐ๊ณผ์ ๋ ํฐ ์ํฅ์ ์ฃผ๋ ์
๋ ฅ์ ์ฐ์ ์ ์ผ๋ก ๋ณดํธํด ์ ๋ฌธ๊ฐ ์ ํ๊ณผ ํ์ง์ ์ํฅ์ ์ฃผ์ง ์๋๋ก ํ๋ ๊ธฐ์ ์ด๋ค. ์ ์์ ๊ฐ ์๋ ๋ชฉ๋ก์ ๋ก ์ ๋ฌธ๊ฐ ๊ทธ๋ฃน ๊ด๋ฆฌํ๋ โDREAM-MoEโ ์ค๋๋ ๋ํ์ธ์ด๋ชจ๋ธ์ ๋์ํ ๋๋ง๋ค ๊ฐ ๋ถ์ผ๋ก ๋๋์ด์๋ ์ ๋ฌธ๊ฐ ๋คํธ์ํฌ๋ฅผ ์ ํ์ ์ผ๋ก ํ์ฉํ๋ MoE ๋ฐฉ์์ ํ์ฉํ๋ค. ์์ธ๋ฌ ๋ชจ๋ธ ๊ตฌ๋์ด ํ์ํ ์ฐ์ฐ๋๊ณผ ๋ฉ๋ชจ๋ฆฌ ๋ฑ์ ์ค์ด๊ธฐ ์ํด 16๋นํธ๋ก ํ์ต๋ ๋ชจ๋ธ์ 4๋นํธ ์์ถํ๋ ์์ํ ๊ณผ์ ๋ ๋๋ฆฌ ์ฐ์ธ๋ค. ํ์ง๋ง MoE๋ ์์ ๊ต๋์๋ ๋ค๋ฅธ ์ ๋ฌธ๊ฐ ์งํฉ์ด ์คํ๋ ๋งํผ ๋ฏผ๊ฐํ๋ฉฐ ์์ํ ๊ณผ์ ์์ ๋ฐ์ดํฐ๊ฐ ์กฐ๊ธ์ฉ ๋ณํ๋ฉด์ ์ค์ ๋ก ๋ค๋ฅธ ์ ๋ฌธ๊ฐ ๋ชจ๋ธ๋ก ๋ฐ๋๋ฉฐ ๊ฒฐ๊ณผ๊ฐ ๋ค๋ฐ๋๊ธฐ๋ ํ๋ค. ๋ฐํ์ฒ ๋
ธํ ํ
ํฌ๋ฆฌ๋๊ฐ ๋ฐํํ DREAM-MoE ๋
ผ๋ฌธ์ AdaptFM ์ํฌ์์์ ์์ 20% ์์ค์ ํด๋นํ๋ ํฌ์คํฐ ๋
ผ๋ฌธ์ผ๋ก ์ ์ ๋๋ค / ์ถ์ฒ=๋
ธํ ํํ ๋ฐฉ์์ ์๋ณธ ๋ชจ๋ธ์ ์ ์๋ฅผ ๊ทธ๋๋ก ๋ณต์ ํด ์ ๋ฌธ๊ฐ ์์๋ฅผ ๋ณด์กดํ๋ ค ํ์ง๋ง ๋ชจ๋ธ ์์ํ ์ ๋ฐ์ํ๋ ๋
ธ์ด์ฆ๋ ๋ฐ์ฌ๋ฆผ, ์ฌ๋ฆผ ๋ฑ์ผ๋ก ์ธํด ์ซ์๊ฐ ์กฐ๊ธ์ฉ ๋ณํ๋ค๊ฐ ๋ค๋ฅธ ๋ชจ๋ธ์ด ์ ํ๋ ์ ์๋ ์์ด๋ค. ๊ฐ๋ น ์ ๋ฌธ๊ฐ A๊ฐ 2.0, ์ ๋ฌธ๊ฐ B๊ฐ 1.9์ ์ธ๋ฐ ์์ํ ์ดํ ์ ๋ฌธ๊ฐ A๊ฐ 1.8์ , ์ ๋ฌธ๊ฐ B๋ 1.9์ ์ด๋ผ๋ฉด ์ซ์ ์ฐจ์ด๋ ์์๋ ์๋ณธ์์๋ A๊ฐ ๋์๋๋ ์์
์ B๊ฐ ํฌ์
๋์ด ์ ํ๋์ ๋ฌธ์ ๊ฐ ์๊ธธ ์ ์๋ค. ์ด ๋
ผ๋ฌธ์์ ์ ์ํ๋ DREAM-MoE๋ ๋จ์ํ ์ ์๋ฅผ ๋ง์ถ๋ โ๋ผ์ฐํฐ-๋ก์ง ๋งค์นญโ ๋ฐฉ์์ ๋์ด์ โฒ ๋ง์ง ๋ณด์กด ์๋ณ ๋ผ์ฐํ
๋ชฉํ โฒ ๋ค์ด์คํธ๋ฆผ ๋ผ์ฐํ
์ค๋ฅ ์ธ์ ๋ ๊ฐ์ง ๋ฐฉ์์ ์ ์ํ๋ค. ๋ง์ง ๋ณด์กด ์๋ณ ๋ผ์ฐํ
๋ชฉํ๋ ์ ์ ๋ฑ์ ๋ณต์ ํ๋ ๋ฐฉ์ ๋์ ์์ ์ ๋ฌธ๊ฐ ๊ทธ๋ฃน ๋ด์์ ์๋์ ์ธ ์ ์ ์ฐจ์ด์ ์์๋ฅผ ๋ณด์กดํ๋๋ฐ ์ง์คํ๋ค. ์์ํ๋ฅผ ํตํด ์ซ์๊ฐ ๋ณํ๋๋ผ๋ ์ ๋ฌธ๊ฐ ์์ฒด์ ์ ์ ๊ฒฉ์ฐจ, ๊ทธ๋ฆฌ๊ณ ์์ ์์ฒด๋ฅผ ์ก์๋๋ ๋งํผ ์๋ณธ์์ ๋์๋๋ ๊ฒ๊ณผ ๋์ผํ ์ ๋ฌธ๊ฐ๊ฐ ํฌ์
๋๋๋ก ํ๋ค. ๋ํ ์ ๋ฌธ๊ฐ ๋ชจ๋ธ ์ค ์ ํ ๋ชฉ๋ก์ ๋ค์ด์จ ๊ฒ๊ณผ ํ๋ฝํ ์ ๋ฌธ๊ฐ ๋ชจ๋ธ์ ๊ฒฝ๊ณ๋ฅผ ๋ง๋ค๊ณ ์ด๋ค ๊ฐ์ ์ ์๊ฐ ์ขํ์ง์ง ์๊ฒ ์ํ์ ์ผ๋ก ์ ๋ํ๋ค. ๋ฐ๋ผ์ ์์ํ ๋
ธ์ด์ฆ๊ฐ ๊ฐ์
ํด์ ์ ๋ฌธ๊ฐ ๋ชจ๋ธ ์์๊ฐ ๋ฐ๋๋งํ ์ฌ๊ฑด์ด ์๊ธฐ๋๋ผ๋ ์ฌ์ ์ ์ง์ ํ ๋ชฉ๋ก๊ณผ ๊ท์น ๋ฑ์ ๋ฐํ์ผ๋ก ์๋ ์๋ํ ์ ๋ฌธ๊ฐ ๋ชจ๋ธ์ด ๋์ํ๋๋ก ํ๋ค. ๋ค์ด์คํธ๋ฆผ ๋ผ์ฐํ
์ค๋ฅ ์ธ์์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ด ์ฌ๋ฌ ๋ ์ด์ด๋ฅผ ๊ฑฐ์ณ ์ฐ์์ ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋ โ๋ค์ด์คํธ๋ฆผโ ๊ตฌ์กฐ์์ ๋จ์ ์ค์ฐจ ๋ณด์ ๋ง ์ ์ฉํ์ง ์๊ณ ๋ค์ ๋ธ๋ก ๊ฒฐ๊ณผ์ ๋ฏธ์น๋ ์ํฅ์ ๊ณ ๋ คํด ์์๊ฐ ์ ์ง๋๋๋ก ํ๋ค. ๋๊ท๋ชจ์ธ์ด๋ชจ๋ธ์ ์์ญ ๊ฐ์ ๋ธ๋ก์ด ์ง๋ ฌ ๊ตฌ์กฐ๋ก ์ฐ๊ฒฐ๋ผ ์์ผ๋ฉฐ ์์ฐจ์ ์ผ๋ก ์์ํํ๋ค. ๋ฐฉ์์ ์์ ๊ฒ์ฆ์ฉ ๋ฐ์ดํฐ์
์ ํ์ฉํด ๋ฐ์ดํฐ๊ฐ ์์ฐจ์ ์ผ๋ก ์์ํํ ๋ ์ ๋ฌธ๊ฐ ์งํฉ์ด ์ผ๋ง๋ ์ผ์นํ๋์ง ํ์ธํ๋ค. ๋ฌผ๋ก ๋ชจ๋ ์ ์ฐจ์ ์ด ์กฐ๊ฑด์ ์ ์ฉํ๋ฉด ์คํ๋ ค ๊ณผ๋ํ ์ ์ฝ์ด ๋ ์ ์์ด์ ๋ค์ ๋ธ๋ก ๋ผ์ฐํฐ์ ์ ๋ฌธ๊ฐ ์ ํ ๊ฒฐ๊ณผ๊ฐ ์๋ณธ๊ณผ ๋ง์ด ๋ฌ๋ผ์ก์ ๋ ํจ์๊ฐ ๋์ํ๋ค ์คํ์ ์ธ ๊ฐ์ง์ LLM ๋ชจ๋ธ์ ๋ํด ๊ฐ๊ฐ 4๋นํธ, 3๋นํธ์ AutoRound, TopM-MSE, DREAM-MoE๋ฅผ ์ ์ฉํ ๊ฒฐ๊ณผ๊ฐ ์ฒจ๋ถ๋๋ค. ๋ฅ์ํฌ-V2-๋ผ์ดํธ-์ฑ์์ ์ธ์ด ๋ชจ๋ธ์ ์ดํด๋ ฅ์ ๋ปํ๋ ํผํ๋ ์ํฐ(PPL) ์งํ๋ AutoRound๊ฐ 8.37, TopM-MSE๊ฐ 8.38์ผ ๋ DREAM-MoE๊ฐ 8.3์ ๊ธฐ๋กํด ์ธ์ด ์ฑ๋ฅ์ ๊ฐ์ฅ ์ ๋ณด์กดํ๊ณ . ํนํ ๋ค์ด์คํธ๋ฆผ ํ๊ท ์ ํ๋๋ AutoRound 39.46%์ TopM-MSE 38.18%์ 40.54%๋ก ์ ์น๋ฉฐ ๋์ ์ ํ๋๋ฅผ ๋ณด์ฌ์คฌ๋ค. 3๋นํธ ์์ํ ์ญ์ DREAM-MoE๊ฐ ๊ฐ์ฅ ๋ฎ์ PPL์ ๊ธฐ๋กํ๋ค. ์ธ ๊ฐ์ ๋ชจ๋ธ์์ AutoRound, TopM-MSE, DREAM-MoE ์ธ ๊ฐ์ง ์์ํ ํ๋ ์์ํฌ๋ฅผ ์ ์ฉํ ๋ค์ ๊ฒฐ๊ณผ๊ฐ / ์ถ์ฒ=๋
ธํ ํนํ ๋ฌธ๋ผ์ดํธ-16B-A3B-์ธ์คํธ๋ญํธ๋ฅผ 3๋นํธ ์์ํํ ์กฐ๊ฑด์์๋ AutoRound๊ฐ 15.58, TopM-MSE๊ฐ 15.46์ผ ๋ DREAM-MoR๊ฐ 1.5ํฌ์ธํธ ์์ 13.93์ ๊ธฐ๋กํ๋ค. ํด๋น ๊ฐ์ ์์น๊ฐ ๋ฎ์์๋ก ์ธ์ด ์ดํด ๋ฅ๋ ฅ์ด ๋ฐ์ด๋ ๊ฐ์ด๋ค. ํ์ฌ 3-30B-A3B ์ญ์ 3๋นํธ ์์ํ ๊ธฐ์ค์์ ๋ค์ด์คํธ๋ฆผ ์ ํ๋๊ฐ 61.54%๋ฅผ ๊ธฐ๋กํด AutoRound์ 60.46%, TopM-MSE์ 60.07% ๋๋น 1.08~1.47%๋ฅผ ์์ฐ๋ค. DREAM-MoE๋ฅผ ํตํด ๋ก์ง-๋งค์นญ์ ๋จ์ ๋ง์ง ๋ณด์กด ์์ค๋ก ๊ต์ฒดํ ๊ฒฐ๊ณผ๋ง์ผ๋ก 6๊ฐ์ ์ํ ์ค 5๊ฐ ์ค์ ์์ ์ ํ๋๊ฐ ํฅ์๋๊ณ , 5๊ฐ์ ์์นํญ์ ํ๊ท 1.68 ํฌ์ธํธ์ ๋ฌํ๋ค. ๋ํ ๋ค์ด์คํธ๋ฆผ ๋ผ์ฐํฐ ์์ค์ ๋ณด์ ํ์ ๋๋ PPL์ด ์ ์ฒด 6๊ฐ ์ค์ ์ค 4๊ฐ์์ ๋ฎ์์ง๋ฉฐ ์ดํด๋๊ฐ ๋์์ง ๋ชจ์ต์ ๋ณด์ฌ์คฌ๋ค. ํด๋น ์ฐ๊ตฌ๋ฅผ ํตํด LLM ์์ํ ์ ์ ๋ฌธ๊ฐ ๋ชจ๋ธ๊ฐ์ ์ง์ ํด ๋๋ฉด ์ ๋ฐ์ ์ธ ์ ํ๋๊ฐ ํฅ์๋๋ ์ ์ด ์
์ฆ๋์์ผ๋ฉฐ, ํนํ ์ค์ ์ถ๋ก ์ ์ถ๊ฐ ์ฐ์ฐ์ด๋ ๋ชจ๋์ด ํ์ ์์ด ์ ์ฉ ๊ฐ๋ฅ์ฑ์ด ๋งค์ฐ ์ฐ์ํ๋ค๋ ์ ์ด ๋๋ณด์ธ๋ค. ์ผ๊ด ์์ํ ๋์ ์ ํ์ ๊ด๋ฆฌ๋ก ์ค์ฌ์ฉ ํจ์จ ๋์ธ โSRA-MoEโ MoE์ ์ฅ์ ์ ๋งค๊ฐ๋ณ์๋ฅผ ํฌ๊ฒ ํ์ฅํ ์ ์์ผ๋ฉด์๋ ์ฐ์ฐ ๋น์ฉ์ ๋ฎ์ถ๋ ๋ฐ ์๋ค. ๋งค๊ฐ๋ณ์๊ฐ 300B ์์ค์ด์ด๋ ์ค์ ๋์ํ ๋๋ 20B ์์ค์ ์ ๋ฌธ๊ฐ ๊ทธ๋ฃน๋ง ์๋ํ๋ ์์ด๋ค. ํ์ง๋ง ์ฐ์ฐ ํจ์จ์ ๋์ด๋ AI ๋ชจ๋ธ ์์ํ ์ ๋ฏธ์ธํ ๊ฐ์ ๋ณํ๋ก ์๋ ์ ๋ฌธ๊ฐ๊ฐ ์๋ ๋ค๋ฅธ ์ ๋ฌธ๊ฐ๋ก ํ ๋น๋๋ โ๋ผ์ฐํ
์ํํธโ ํ์์ด ๋ฐ์ํ ์ ์๊ณ ์ด ๊ฒฝ์ฐ ์ฑ๋ฅ์ด ํฌ๊ฒ ๋จ์ด์ง๋ค. LLM ์ค์ ๊ด๋ฆฌ์๊ฐ ๋ณํธ์ฌ๋ฅผ ํธ์ถํ๋๋ฐ ๋ณ๋ฆฌ์ฌ๊ฐ ์ค๋ ๋ฐ๋์ ๊ฒฐ๊ณผ๊ฐ ํ์ด์ง๋ ์์ด๋ค. ์ง๊ธ๊น์ง์ MoE ์์ํ๋ ํฅํ ์๊ณก์ ๊ฐ์ํ๊ณ ๋ชจ๋ ํ ํฐ์ ์ผ๊ด ์์ํํ๋๋ฐ, ์ฐ๊ตฌํ์ ๋๋ค์ ํ ํฐ์ด ํฌ๊ฒ ์์ถํด๋ ์ต์ข
์ถ๋ ฅ์ ๋ณํ๊ฐ ์๊ณ ์ผ๋ถ ํ ํฐ๋ง ์ต์ข
์ถ๋ ฅ์ ํฐ ์ฐจ์ด๊ฐ ์๋ค๋ ๊ฒ์ ํ์ธํ๋ค. ์ด์ ๋ชจ๋ ํ ํฐ์ ์ผ๊ด ์ ๋ ฌํ๊ธฐ๋ณด๋ค๋ ์ถ๋ ฅ ๋ณํ์ ๋ฏผ๊ฐํ ํ ํฐ์ ์ ํ์ ์ผ๋ก ์ ๋ ฌํด ํจ์จํํด์ผ ํ๋ค๊ณ ์ ์ํ๋ค. ์ฐ์ ํ ํฐ ์์ํ ์ ํฅํ ๊ฒฐ๊ด๊ฐ์ ์ฌ์ ์ ์ธก์ ํ๋ Sampled-JSD ์งํ๋ฅผ ํตํด ๋ชจ๋ธ ๊ฐ์ ์ถ๋ ฅ ๊ฒฐ๊ณผ ์ฐจ์ด๋ฅผ ํ์ธํ๊ณ , ์ด๋ฅผ ๋ฐํ์ผ๋ก ๋ฏผ๊ฐํ ํ ํฐ๋ค๋ง ์ถ๋ ค๋ด ์ต์ ํํ๋ค. ๋ํ ์ํฅ์ด ์ ์ ํ์ ์ ๋ฌธ๊ฐ๋ฅผ ๋ฐฐ์ ํ๊ธฐ ์ํ ์์ ์ธ ๊ฐ์ ์ ๋ฌธ๊ฐ๋ฅผ ์ ๋ ฌํ๋ Top-3K MSE ์์ค ํจ์๋ ์ ์ํ๋ค. ํ์ฌ3-30B-A3B์ ๋ํ ๊ธฐ๋ณธ๊ฐ ๋ฐ ๋ผ์ฐํ
์ ๋ ฌ, ์ ํ์ ๋ผ์ฐํฐ ์ ๋ ฌ ๊ฒฐ๊ณผ, ์ฐ์ธก์ ๋ํ ์ธ์ด๋ชจ๋ธ์์ ์ฌํํ๋ จ์์ํ ๋ฐ RA, SRA๋ฅผ ์ ์ฉํ์ ๋์ ์ํ ๊ฒฐ๊ณผ / ์ถ์ฒ=๋
ธํ ์คํ์ ํ์ฌ3-30B-A3B์ ์๋ผ-์คํ-100B, GLM-4.5-Air ์ธ ๊ฐ๋ฅผ ํ์ฉํด ๊ฐ์ค์น 4๋นํธ ๋ฐ 3๋นํธ๋ก ์์ํํ๊ณ AIME24, AIME24, GPQA-๋ค์ด์๋ชฌ๋ ๋ฑ ๊ณ ๊ธ ์ถ๋ก ๋ฒค์น๋งํฌ๋ฅผ ์ ์ฉํ๋ค. ํ์ฌ 3-30B-A3B ๋ชจ๋ธ์ ๊ฐ์ค์น 4๋นํธํ ๊ฒฐ๊ณผ ์ฌํํ๋ จ์์ํ(GPTQ)์ ๋ผ์ฐํ
์ ๋ ฌ(RA)๋ก AIME25 ํ
์คํธ๋ฅผ ํ์ ๋ ์ ๋ต๋ฅ ์ด 67.5%์ธ ๋ฐ๋ฉด ์ ํ์ ๋ผ์ฐํฐ ์ ๋ ฌ(SRA)์ 70%์ ์ ํ๋๋ฅผ ๋ณด์๋ค. ๊ฐ์ค์น 3๋นํธ ์์ํ ์ AIME24 ๊ฒฐ๊ณผ๋ GPTQ, RA๊ฐ ๊ฐ๊ฐ 66.67, 69.58์ผ ๋ SRA๋ 72.08์ ๊ธฐ๋กํ๋ค. ๋ํ ๋ชจ๋ธ์ธ ์๋ผ-์คํ-100B๋ก ์์ํํด AIME24๋ฅผ ํด๊ฒฐํ ๊ฒฐ๊ณผ์์๋ RA ๋ฐฉ์์ด ์คํ๋ ค ๋
ธ์ด์ฆ ๊ฐ์
์ผ๋ก ์ธํด GPTQ๋ณด๋ค ์ฑ๋ฅ์ด ๋จ์ด์ก์ง๋ง, SRA๋ GPTQ๋ณด๋ค ๋ ๋์ ์ฑ๋ฅ์ ๋ณด์ฌ์คฌ๋ค. ์์ธ๋ฌ ์์ค ํจ์๋ฅผ ๋
ผ๋ฌธ์์ ์ ์ํ Top-3K๋ก ์ค์ ํ์ ๋๋ ์๋ ํ์ฑํ๊ฐ ํน์ ์ ์ฒด ์ ๋ฌธ๊ฐ๋ฅผ ๋ชจ๋ ์ ๋ ฌํ ๊ฒ๋ณด๋ค ๋์ ์ ์๋ฅผ ๋ณด์ฌ์คฌ๋ค. KV ์บ์๋ฅผ ์ต๋ 4.6๋ฐฐ๊น์ง ํ๋ณดํ ๊ฑด 4๋นํธ ์์ํ์ ์ํฅ์ด๋ฉฐ SRA-MoE๋ ์์ํ ํ์๋ ์ฑ๋ฅ์ด ์ต๋ํ ์ ์ง๋๋ค๋ ๋ฐ ์ด์ ์ ๋๋ค / ์ถ์ฒ=๋
ธํ ์๋น๋์ H100์ ํ์ฉํด vLLM ์ค์ธก ์ถ๋ก ํจ์จ์ฑ์ ํ
์คํธํ ๊ฒฐ๊ณผ์์๋ ์ ๋ฐ์ ์ธ ์ถ๋ ฅ ํ ํฐ์ 20% ํฅ์๋๊ณ ์์ ์๊ฐ์ 17% ์ค์ด์ฃผ๋ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ฌ์คฌ๋ค. ์ด๋น ์ถ๋ ฅ ํ ํฐ ์๋ 16๋นํธ ๊ธฐ์ค 389.04ํ ํฐ์ธ๋ฐ SRA-MoE ์ ์ฉ ์์ํ ํ๊ฒฝ์์๋ 469.26ํ ํฐ์ผ๋ก 20.6% ๋์๋ค. ์ด ์ฒ๋ฆฌ ํ ํฐ์๋ 20.6% ๋์์ผ๋ฉฐ ์ถ๋ ฅ๋น ํ ํฐ ์์ ์๊ฐ์ 10.19ms์์ 8.44ms๋ก 17.1% ๋จ์ถ๋๋ค. ํนํ ์ต๋ ์์ฉ ๊ฐ๋ฅํ ์ฝํ
์คํธ์ ์ํฅ์ ์ฃผ๋ KV ์บ์๋ ๊ธฐ์กด 12๋ง 6000ํ ํฐ์์ 58๋ง 3000ํ ํฐ์ผ๋ก ์ฝ 4.6๋ฐฐ ์ฆ๊ฐํ๋ค. SRA-MoE๋ ๋ผ์ฐํ
๊ฒฝ๋ก ๋ณ๊ฒฝ์ ๋๋ค์ ํ ํฐ์ ์ํฅ์ ์ฃผ์ง ์๊ณ , ์ผ๋ถ ๊ฐ๋ง ์ ๋ ฌํ๋ฉด ๋๋ค๋ ๋ฐฉ์์ ์ ์ํ๋ค. ๋ํ ๊ธฐ์กด์๋ ๋ชจ๋ ๋ฐ์ดํฐ๋ฅผ ๊ท ์ผํ ๊ฐ์ค์น๋ก ํ์ตํ๋๋ฐ SRA๋ ์ ๋ฐ ๊ฐ๋์ ํ ํฐ์ ํ์ต์์ ๋ฐฐ์ ํด ์์
ํจ์จ์ฑ์ ๋์ด๊ณ ์ฑ๋ฅ ์์ฒด๋ฅผ ๋์๋ค. ํนํ ์๋ผ-์คํ-100B, GLM-4.5-Air ๋ฑ ๋ํ ๋ชจ๋ธ์ 4๋นํธ ์์ํํ ๊ฒฐ๊ณผ์์๋ KV ์บ์๋ฅผ ํ๋ณดํ๋ฉด์๋ ์๋ณธ์ ๊ฐ๊น์ด ์ฑ๋ฅ์ ์ ์งํด ์ค์ฉ๋๊ฐ ๋๋ค๊ณ ํ๊ฐํ ์ ์๋ค. ๊ธฐ์ ๋ ฅ ์
์ฆํ ๋
ธํ, ๊ธฐ์ ๊ฒฝ์๋ ฅ ํ๋ณด์ ์ง์ค ๊น์ฌ์ฐ ๋
ธํ AI ์์ง๋์ด(์ข) ๋ฐ ๊น๋ณด๊ฒฝ ๋
ธํ AI ์๋์ด ๋ฆฌ์์ฒ(์ฐ)๊ฐ ํ์ฌ ํจ์จ์ฑ ๊ฒฝ์ ์ถ๋ก ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ ์ค์ด๋ค / ์ถ์ฒ=๋
ธํ ๋
ธํ๋ ๋ ํธ์ ๋
ผ๋ฌธ ๋ฐํ ์ด์ธ์๋ ICML 2026 AdaptFM ์ํฌ์์์ ์ด๋ฆฐ ํ์ฌ ํจ์จ์ฑ ๊ฒฝ์ ๋ํ์์ 3์๋ฅผ ์ฐจ์งํ๋ฉฐ ๊ธฐ์ ๊ฒฝ์๋ ฅ์ ์๋ ธ๋ค. ํ์ฌ ํจ์จ์ฑ ๊ฒฝ์์ ํ์ฌ 3.5-4B ๋ชจ๋ธ์ ๋ต๋ณ ์์ฑ ์๋๋ฅผ ์๋น๋์ A10G GPU ์๋น ํ๊ฒฝ์์ ์ผ๋ง๋ ํฅ์ํ ์ ์๋์ง๋ฅผ ๊ฒจ๋ฃจ๋ ๋ํ๋ก, ์ฌํด ์ ์ธ๊ณ 40์ฌ ๊ฐ ํ์ด ์ฐธ์ฌํ๋ค. ๋
ธํ๋ ๋ชจ๋ธ ์ ํ๋๋ฅผ ์ ์งํ๋ฉด์ ํ๊ท 6.978๋ฐฐ ๋น ๋ฅธ ์ถ๋ก ์๋๋ฅผ ๋ฌ์ฑํด ์ต์ข
3์์ ์ฌ๋๋ค. ์ด๋ ์ ํ๋ GPU ํ๊ฒฝ์์๋ ๋ชจ๋ธ ์ฑ๋ฅ๊ณผ ์ถ๋ก ํจ์จ์ ๋์์ ํ๋ณดํ ์ ์๋ ๋
ธํ์ ๊ธฐ์ ๋ ฅ์ ์
์ฆํ ๊ฒฐ๊ณผ๋ค. ๊นํํธ ๋
ธํ ์ต๊ณ ๊ธฐ์ ์ฑ
์์ ๊ฒธ ๊ณต๋์ฐฝ์
์๋ "์ด๋ฒ ์ฑ๊ณผ๋ ๊ธ๋ก๋ฒ AI ์ํ๊ณ์์ ํ์ฉ๋๋ ๋ํ์ ์ธ ์คํ์์ค AI ๋ชจ๋ธ์ธ ํ์ฌ์ ๋์์ผ๋ก ๋
ธํ์ ์ถ๋ก ์ต์ ํ ๊ธฐ์ ๋ ฅ์ ๊ฒ์ฆ๋ฐ์ ์ฌ๋กโ๋ผ๋ฉฐ, โ์์ผ๋ก๋ ๋ค์ํ AI ์๋น์ค์ ์จ๋๋ฐ์ด์คยท์ฃ์ง AI ํ๊ฒฝ์ ์ต์ ํ ๊ธฐ์ ์ ํ๋ ์ ์ฉํด ๋๊ฐ ๊ฒ"์ด๋ผ๊ณ ๋งํ๋ค. IT๋์ ๋จ์ํ ๊ธฐ์ (sh@itdonga.com)
์ 43ํ ๊ตญ์ ๋จธ์ ๋ฌ๋ํํ๊ฐ ์ด๋ก์ ์ผ๋ก ๋ถ๋ฏธ๊ฐ ์๋ ๋ํ๋ฏผ๊ตญ์ ์๋ ์์ธ์์ ์ด๋ ธ๋ค. 40์ฌ ๋
์ญ์ฌ์ ์์์ ๊ฐ์ต๋ ์ด์ค๋ผ์, ์ค๊ตญ์ ์ด์ด ์ธ ๋ฒ์งธ๋ค / ์ถ์ฒ=IT๋์ [IT๋์ ๋จ์ํ ๊ธฐ์] ์ 43ํ ๊ตญ์ ๋จธ์ ๋ฌ๋ํํ(International Conference on Machine Learning, ICML 2026)๊ฐ ์ง๋ 7์ 6์ผ๋ถํฐ ์ค๋ 11์ผ๊น์ง ์์ธ ์ฝ์์ค์์ ๊ฐ์ต๋๋ค. ICML 2026์ ์ ์ธ๊ณ ์ธ๊ณต์ง๋ฅ ๊ธฐ์
๋ฐ ํ๊ณ ๊ด๊ณ์ ์ฝ 1๋ง 5000์ฌ ๋ช
์ด ์ฐธ์ํ์ผ๋ฉฐ 6600์ฌ ๊ฑด ์ด์์ ๋
ผ๋ฌธ์ด ์ฑํ๋๋ค. ์ฌํด ๋ฐํ๋ ๊ธฐ๊ณํ์ต ์ด๋ก , AI ์์ ๋ฐ ์ค๋ฆฌ, ๊ฒฝ์ ๋ฐ ์ ์ฑ
, ๊ณ์ฐ ์๋ฌผํ, ์์ฐ์ด ์ฒ๋ฆฌ, ์ธ๊ฐ ๋ฐ ์ปดํจํฐ ์ํธ์์ฉ ๋ฑ ๋ค์ํ ๋ถ์ผ์ ์ ๋ฌธ๊ฐ๊ฐ ๊ธฐ์กฐ์ฐ์ค์ ์งํํ๋ฉฐ, ์ด 44๊ฐ์ ์ ๋ฌธ ์ํฌ์๊ณผ ์ต์ ํ์ ๋
ผ๋ฌธ ๋ฑ์ด ๋ฐํ๋๋ค. ์ฃผ์ ์ ์์ฅ์ ๊ธ๋ก๋ฒ ๋น
ํ
ํฌ๊ฐ ์ฃผ๋ก ์ฐธ์ฌํ์ผ๋ฉฐ, ์ฐธ๊ด๊ฐ๋ค ์ญ์ ๋ชจ๋ ICML์ ์ฐธ์ฌํ ์ฐ๊ตฌ์๋ค์ด๋ค / ์ถ์ฒ=IT๋์ ICML 2026์ด ๋ฏธ๊ตญ, ์ ๋ฝ ์ธ ๊ตญ๊ฐ์์ ๊ฐ์ต๋๋ ๊ฒ์ ์ด์ค๋ผ์, ๋ฒ ์ด์ง์ ์ด์ด ์ธ ๋ฒ์งธ๋ก ์ฐ๋ฆฌ๋๋ผ์ ๋์์ง AI ์์์ ์ ์ ์๋ ๋๋ชฉ์ด๋ค. ํ๊ณ์์๋ ๋ฏธ๊ตญ MIT, ์คํ ํผ๋ ๋ํ๊ต, UC ๋ฒํด๋ฆฌ, ์นด๋ค๊ธฐ ๋ฉ๋ฐ ๋ํ๊ต ๋ฑ์ด ์ฐธ์ฌํ๊ณ , ์บ๋๋ค๋ ํ ๋ก ํ ๋, ๋ฐ๋ผ ์ฐ๊ตฌ์, ์ ๋ฝ์์๋ ์ฅ์คํผ๋, ์บ ๋ธ๋ฆฌ์ง, ํ๋์ค ์ธ๋ฆฌ์ ์ฐ๊ตฌ์ ๋ฑ์ด ์ฐธ์ฌํ๋ค. ๋ํ ๊ตฌ๊ธ ๋ฐ ๊ตฌ๊ธ ๋ฅ๋ง์ธ๋๊ฐ ์ฝ 130ํธ ์ด์์ ๋
ผ๋ฌธ์ ๋ฐํํ๋ฉฐ ์ ํ, ์๋ง์กด, ์คํAI, ๋ฉํ, ๋ง์ดํฌ๋ก์ํํธ, ๋ฏธ์คํธ๋ ๋ฑ ์ ์ธ๊ณ AI ๋น
ํ
ํฌ ๊ธฐ์
๋ค์ด ์ด์ถ๋ํ๋ค. ํนํ ๊ธ๋ก๋ฒ AI ๊ธฐ์
๋ค์ด ๋๊ฑฐ ๋ถ์ค์ ์ฐธ์ฌํ๋ฉฐ ํ์ฌ์ ์ด๊ธฐ๋ ๋งค์ฐ ๋จ๊ฑฐ์ด ์ํฉ์ด๋ค. ์ ์ธ๊ณ ์ํ๋ค์ด ์์ธ์ ์ฐพ๋ ๋งํผ ๊ตญ๋ด AI ๊ธฐ์
๋ฐ ํ๊ณ ์ฐธ์ฌ๋ ๋ถ์ฃผํ๋ค. ์ฐ๋ฆฌ๋๋ผ๋ ์ด 357ํธ์ ๋
ผ๋ฌธ์ด ์ฑํ๋์ผ๋ฉฐ ํ๊ตญ๊ณผํ๊ธฐ์ ์์ด 120๊ฑด, ์์ธ๋๊ฐ 77๊ฑด, ์ด์ด์ ์ฐ์ธ๋์ ๊ณ ๋ ค๋, ํฌํญ๊ณต๋, ์ธ์ฐ๊ณผํ๊ธฐ์ ์ ๋ฑ๋ ๋
ผ๋ฌธ์ ๋๊ฑฐ ์ ์ถํ๋ค. ๊ธฐ์
์ ์ผ์ฑ์ ์์ ๋ค์ด๋ฒ, LG AI ์ฐ๊ตฌ์, ์นด์นด์ค, ํฌ๋ํํค ๋ฑ์ด ์ด๊ฑฐ๋ AI ๋ฐ ๋ฉํฐ๋ชจ๋ฌ ๋ชจ๋ธ, ์ฐ์
์ฉ ๋ํ ํ์ด๋ฐ์ด์
๋ชจ๋ธ์ ๋ฐํํ๋ค. ์คํํธ์
์ผ๋ก๋ ๋๋
ธํฐ์์์ ๋
ธํ, ํ์๋-๋ฆฌ๋ฒจ๋ฆฌ์จ, ํ์ดํผ์์
, ๋ฒ ์ฌAI, ํ๋ ๋ค๋ฆฌ AI ๋ฑ์ด ๋ถ์ค๋ฅผ ์ฐจ๋ฆฌ๊ฑฐ๋ ๋
ผ๋ฌธ ๋ฑ์ ๋ฐํํ๋ค. ํ๋ค์ด๋ฒ, 12๊ฑด์ ๋
ผ๋ฌธ๊ณผ ํจ๊ป ๋ํ ๋ถ์ค๋ก ์ด๋ชฉ ์ง์ค ๋ค์ด๋ฒ๋ ์ฌํด 12ํธ์ ๋
ผ๋ฌธ์ด ์ฑํ๋๋ฉด์ ํํํ ์ฐ๊ตฌ ์ญ๋์ ์๋ํ๋ค / ์ถ์ฒ=IT๋์ ๊ตญ๋ด ๊ธฐ์
์ค ๊ฐ์ฅ ํฐ ๋ถ์ค๋ ํ๋ค์ด๋ฒ๋ค. ๋ค์ด๋ฒ๋ ์ฌํด ์ด 12๊ฐ์ ๋
ผ๋ฌธ์ ๋ฐํํ๋ฉฐ ๊ทธ์ค Stable-GFlowNet: ๋์กฐ์ ์ธ ๊ถค์ ๊ท ํ์ ํตํ ๋ค์ํ๊ณ ๊ฒฌ๊ณ ํ LLM ๋ ๋ํ ๊ตฌ์ถ์ ํฅํ์ฌ ๋
ผ๋ฌธ์ด ์์ 2.2%์ ์ง์ค๋๋ ์คํฌํธ๋ผ์ดํธ ๋
ผ๋ฌธ์ผ๋ก ์ ์ ๋๋ค. ๋ํ โฒ SyMerge: ๋จ์ผ ๋ ์ด์ด ์ ์์ ํตํ ๋น๊ฐ์ญ์์ ์๋์ง์ ๋ณํฉ โฒ ํ๋ฆฟํ ๋จ์ ๋์ ์ฅ๋ฉด์ ์ํ ์ด๋ํ ๊ธฐ๋ฐ ๊ฐ์ฐ์ค ํ์ ๋ณํ โฒ ๋ถ์ฐํ ๋ช
๋ น์ด ํ๋: ์ถฉ๋ ์ธ์ ๋ถํ ๋ฐ ๊ฐ์ค์น ๋ณํฉ โฒ ์ด์ค ๋ ๋ฒจ ์ต์ ํ ๋ฐ ํ
์คํธ ๊ทธ๋ผ๋์ธํธ๋ฅผ ์ด์ฉํ LLM ์ํฌํ๋ก์ฐ ์ ๋ ๋
ผ๋ฌธ์ด ์์ 15% ๋ด์ธ์ ์ฃผ์ด์ง๋ ํฌ์คํฐ๋ก ์ ์ ๋๋ค. ๋ค์ด๋ฒ ๋ฉ์ค์ ํผ์ง์ปฌ AI ๊ด๋ จ ๊ธฐ์ ์ด ์๊ฐ๋๊ณ ์๋ค / ์ถ์ฒ=IT๋์ ๋ค์ด๋ฒ ๋ถ์ค๋ ๋
ผ๋ฌธ์ ์ ์ถํ ๋ค์ด๋ฒ๋ฉ์ค์ ๋ค์ด๋ฒํด๋ผ์ฐ๋, ๊ทธ๋ฆฌ๊ณ ๋ค์ด๋ฒ๊ฐ โํ๋ค์ด๋ฒโ๋ก ํจ๊ป ์ฐธ์ฌํ๋ค. ๋ค์ด๋ฒ ๋ถ์ค์๋ ๋ค์ด๋ฒ๊ฐ โ์์ธโ์ ๊ธฐ๋ฐ์ผ๋ก ๊ตฌ์ถ ์ค์ธ ์๋ ์๋ฎฌ๋ ์ด์
๋ชจ๋ธ์ ๊ดํ ์ฐ๊ตฌ๊ฐ ์ ์๋๊ณ ์๋ค. ์๋ ๋ชจ๋ธ์ด๋ ํ
์คํธ๋ ์ด๋ฏธ์ง๋ฅผ ๋์ด ํ์ค ์ธ๊ณ์ ๋ฌผ๋ฆฌ๋ฒ์น, ๊ณต๊ฐ, ์๊ฐ ๋ฑ์ ์ํธ์์ฉ์ ์ ์ฉํ๋ ๋ชจ๋ธ์ด๋ค. ์๋ ๋ชจ๋ธ์ ๋ค์ด๋ฒ AI ๋ฉ์ค๋ฅผ ํฌํจํด ์นด์ด์คํธ, ์์ธ๋ AI์ฐ๊ตฌ์(SNU AIIS)์ด ์งํํ์ผ๋ฉฐ 7์ 10์ผ ๊ธ์์ผ์ F2S ์ํฌ์ ๊ตฌ๋ ๋ฐํ๋ก ์๊ฐ๋๋ค. ์์ธ๋ฌ ๋ค์ด๋ฒํด๋ผ์ฐ๋๊ฐ ๊ฐ๋ฐ ์ค์ธ ๋น์ ๋ชจ๋ธ๊ณผ ๋ค์ด๋ฒ ๋ฉ์ค์ ๋ก๋ณดํฑ์ค ๊ธฐ์ ์ด ํจ๊ป ์ ์๋๋ค. ๋น์ ๋ชจ๋ธ์ ์ฌ๋ ๋ฐ 3D ๋น์ , ๋น์ ์ดํด, ๋น์ ์์ฑ, ๋ฉํฐ๋ชจ๋ฌ LLM ๋ฑ์ด ํฌํจ๋๋ค. ๋ก๋ณดํฑ์ค์ ๊ฒฝ์ฐ ์ค๋ ํฌ ์ค๋ ๋ด๋น๊ฒ์ด์
, ๋ก๋ด ์, ํด๋จธ๋
ธ์ด๋ ๋ก๋ด, ๋ฐ์ดํฐ-์ค์ฌ AI ๋ฑ์ด ์๊ฐ๋๋ค. LG AI ์ฐ๊ตฌ์, AI ๋
ผ๋ฌธ ๊ธฐ๋ฐ ์ค์ฆ ์ฌ๋ก๋ก ์ฐ์์ฑ ๊ฒ์ฆ LG AI ์ฐ๊ตฌ์์ ์ฌํด 14ํธ์ ๋
ผ๋ฌธ์ ๋ฐํํ์ผ๋ฉฐ ์ด๋ฅผ ํ์ฉํ ๋ค์ํ ์์ฉ ์ฌ๋ก๋ฅผ ๋ถ์ค์ ์ ์ํ๋ค / ์ถ์ฒ=IT๋์ LG AI ์ฐ๊ตฌ์์ ์ฌํด 14ํธ์ ๋
ผ๋ฌธ์ ๋ฐํํ์ผ๋ฉฐ ์ ์์ฌ, ๊ธ์ต, ๋ฐ์ดํฐ ๋ฑ ๋ค์ํ ์ฐ์
ํ์ฅ์์ LG AI ์ฐ๊ตฌ์์ด ์ฌ๋ฆฌ๊ณ ์๋ ์ ๋ฐ์ ์ธ ์ฑ๊ณผ๊ฐ ์๊ฐ๋๋ค. ์ฃผ์ ๋
ผ๋ฌธ์ผ๋ก๋ โฒ๋ฉํฐ๋ชจ๋ฌ ๊ฒฐ์ ํ๋ฆ: ํตํฉ ๊ฒฐ์ ๋ชจ๋ธ๋ง์ ์ํ ๋ชจ๋ ๋ชจ๋ ๊ฐ ์์ฑ โฒDEER: ์ ๋ฌธ๊ฐ ๋ณด๊ณ ์ ์์ฑ์ ๋ํ ์ฌ์ธต ์ฐ๊ตฌ ์์ด์ ํธ ํ๊ฐ ๋ฒค์น๋งํฌ โฒ ์ผ๋ฐํ ๊ฐ๋ฅํ ๋ฉํฐ๋ชจ๋ฌ ์์ด์ ํธ๋ฅผ ์ํ ๊ณ์ธต์ ์ ์ฐจ์ ๋ฉํ ์ถ๋ก โฒ ๋ณด์ ๋ชจ๋ธ์ ๋ํ ์ฌ๊ณ ๋ฐฉ์๋ฑ์ด ๋ฐํ๋์์ผ๋ฉฐ, ํด๋น ๋
ผ๋ฌธ ๋ฑ์ ๊ธฐ๋ฐ์ผ๋ก ์ค์ ์ฐ์
๋ถ์ผ์ ์ ์ฉ ์ค์ธ ์ฌ๋ก๊ฐ ์ ์๋๋ค. ๋ฉํฐ๋ชจ๋ฌ ๊ฒฐ์ ํ๋ฆ ๋
ผ๋ฌธ์ ๊ฒฝ์ฐ ๊ฒฐ์ ๊ตฌ์กฐ ์์ธก ๋ฐ ์๋ก์ด ๊ฒฐ์ ๊ตฌ์กฐ๋ฅผ ์์ฑํ๋ โ๊ฒฐ์ ๋ชจ๋ธ๋งโ ๋ถ์ผ์ ๋ํ ๋
ผ๋ฌธ์ด๋ค. ์ต๊ทผ ๋ง ๋ฅ๋ฌ๋ ๋ถ์ผ์ ๋ ์ค๋ฅด๋ ์ฃผ์ ๊ธด ํ๋ ์ฌ์ ํ ๋๋ถ๋ถ ์์
์ด ํน์ ์์
์ ํ์ ๋ผ ์๋ค. LG AI ์ฐ๊ตฌ์์ ์์ ์ ํ๊ณผ ๊ฒฐ์ ๊ตฌ์กฐ์ ๋ํ ๋
๋ฆฝ์ ์ธ ์๊ฐ ๋ณ์๋ฅผ ํตํด ์ฌ๋ฌ ๊ฒฐ์ ์ด ๋
๋ฆฝ์ ์ธ ์ถ๋ก ๊ถค์ ์ผ๋ก ๊ตฌํ๋๋ โ๋ฉํฐ๋ชจ๋ฌ ๊ฒฐ์ ํ๋ฆโ์ ์ ์ํ๋ค. ํด๋น ์ ์์ฌ ๋ฐ๊ฒฌ ๊ธฐ์ ์ AI๊ฐ ์์ฑํ ๊ฒฐ์ ๊ตฌ์กฐ์ ๋ํ ์์ ์ฑ๊ณผ ์ฐธ์ ์ฑ, ํ๋ณด ๋ฌผ์ง ์์ฑ ๋ค์์ฑ ๋ฑ์ ํ๊ฐํ๋ LeMat-GenBench์์ ์ธ๊ณ 2์๋ฅผ ์ฐจ์งํ๋ฉฐ ์ฃผ๋ชฉ์ ๋ชจ์๋ค. ๋ก๋๋ฆฌ๊ณ ํธ๋ฅด๋ง์๋ฐ LG AI ์ฐ๊ตฌ์์ด ์ฐธ๊ด๊ฐ์ ๋์์ผ๋ก ์์ฌ์ ๋์ค์ปค๋ฒ๋ฆฌ ๊ด๋ จ ๋
ผ๋ฌธ์ ์๊ฐ ์ค์ด๋ค / ์ถ์ฒ=IT๋์ LG AI ์ฐ๊ตฌ์์ ๊ด๋ จ ๊ธฐ์ ๋ฑ์ ์ง์ฝํด ์ ์์ฌ ๋ฐ๊ตด AI ํ๋ซํผ โ์์ฌ์ ๋์ค์ปค๋ฒ๋ฆฌโ๋ก ๊ตฌํํ์ผ๋ฉฐ AI๊ฐ ๋ฌธ์ ๊ตฌ์กฐ์์ ๋ถ์ ๊ตฌ์กฐ๋ฅผ ๋ถ์ํ๊ณ ์ ์์ฌ๋ฅผ ์ค๊ณํ๋ ์ฐ๊ตฌ ๊ฐ๋ฐ ์ ์ฐจ๋ฅผ ๋ง๋ค์๋ค. ์ด๋ฅผ ๋ฐํ์ผ๋ก ํ๋ชจ ๊ด๋ฆฌ ์ ์์ฌ โ๋์๋โ์ ๋ง๋ค์ด LG์ํ๊ฑด๊ฐ๊ณผ ์ํํ๋ฅผ ์ค๋น ์ค์ด๋ฉฐ, GS์นผํ
์ค์ ๋ฐ์ดํฐ์ผํฐ์ฉ ์ก์นจ ๋๊ฐ์ ๋ฅผ ์กฐํฉํ๋ค. ๋ฐ์ดํฐ ์์ฐ์ฑ์ 1000๋ฐฐ ์ด์ ํฅ์ํ๋ฉด์๋ ํ์ง์ ๊ฐ์ ํ๋ โ์์ฌ์ ๋ฐ์ดํฐ ํ์ด๋๋ฆฌโ AI ๊ธฐ๋ฐ ๊ธ์ต ์์ด์ ํธ โ์์ฌ์ ๋น์ฆ๋์ค ์ธํ
๋ฆฌ์ ์คโ ๋ฑ ๋ค์ํ ๊ธฐ์ ๋ ํจ๊ป ์ ์๋๋ค. ๊ธ๋ก๋ฒ AI ์ธ์ฌ ์์
์ ์ต์ ์ ์ ์ฐพ์ ๋
ธํ ๋
ธํ๋ ๊ธฐ์
์๊ฐ๋ณด๋ค๋ ICML์ ์ฐธ์ฌํ ์ ๋ฌธ ์ฐ๊ตฌ ์ธ๋ ฅ๋ค์ ๋ชจ์งํ๊ธฐ ์ํด ๋ถ์ค๋ฅผ ๋ง๋ จํ๋ค / ์ถ์ฒ=IT๋์ AI ์์ํ ๋ฐ ๊ธฐ์ ๊ธฐ์
๋
ธํ๋ ICML์ ๋ถ์ค๋ฅผ ์ด์๋ค. ๋
ธํ์ ๊ฒฝ์ฐ ๊ธฐ์ ์๊ฐ๋ณด๋ค๋ ICML์ ์ฐธ์ํ ์ฐ๊ตฌ์๋ค์ ์ํ ์ธ์ฌ์ฑ์ฉ ๋ถ์ค ํํ๋ก ์ ์๋ฅผ ๊ธฐํํ์ผ๋ฉฐ, ๋ฐฉ๋ฌธ๊ฐ๋ค๊ณผ ๊ฐ๋จํ ๊ธฐ์ ๋
ผ์ ๋ฐ ๋น์ฆ๋์ค ๋ฏธํ
ํํ๋ก ์๊ฒ ์ค๋น๋๋ค. ๊ทธ๋ ์ง๋ง ๋
ธํ๊ฐ ์ ์ถํ ๋
ผ๋ฌธ ๋ ๊ฐ๊ฐ ์ค๋ 11์ผ ๊ฐ์ต๋๋ โ์์ ์ ์ํ ํ์ด๋ฐ์ด์
๋ชจ๋ธ ์ถ๋ก (AdaptFM)โ ์ํฌ์์ ์ฑํ๋๋ฉด์ ์
๊ณ ์ ๋ฐ์ ๊ธฐ์ ๋ ฅ์ ์๋ฆด ๊ธฐํ๊ฐ ์ฃผ์ด์ก๋ค. ์ฑํ ๋
ผ๋ฌธ์ โฒ DREAM-MoE: ์ ๋ฌธ๊ฐ ํผํฉํ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ์ํ ๋ค์ด์คํธ๋ฆผ ๋ผ์ฐํ
์ค๋ฅ ์ธ์ ๋ง์ง ๋ณด์กด ์์ํ โฒ SRA-MoE: MoE ์์ํ๋ฅผ ์ํ ์ถ๋ ฅ ์ธ์ ์ ํ์ ๋ผ์ฐํฐ ์ ๋ ฌ ๋ ๊ฑด์ด๋ค. DREAM-MoE๋ ๊ธฐ์กด์ ์์ํ ๊ณผ์ ์์ ๋ผ์ฐํฐ ์ ์๊ฐ ์๊ณก๋๊ฑฐ๋ ์ ํํ MoE(์ ๋ฌธ๊ฐ ํผํฉ) ๋ชจ๋ธ์ด ๋ณ๊ฒฝ๋๋ ๋ฌธ์ ๋ฅผ ๊ณ ๋ คํ MoE ์์ํ ๋ชฉ์ ํจ์๋ค. SRA-MoE๋ ์์ํ ์์
ํ ์ถ๋ ฅ์ด ๋ถ์ผ์นํ๋ ํ ํฐ์ ์ฐ์ ์ ์ผ๋ก ์ต์ ํํ๋ ์ถ๋ ฅ์ธ์ ์ ๋ ฌ ์ ๋ต์ธ ์ ํ์ ๋ผ์ฐํฐ ์ ๋ ฌ ๊ธฐ๋ฅ์ด๋ค. ๋ ์ฐ๊ตฌ ๋ชจ๋ ์ต์ MoE ํนํ ์์ํ๋ณด๋ค ์ฑ๋ฅ์ด ๋์ผ๋ฉฐ MoE ๊ด๋ จ ์์ํ ๊ธฐ์ ๋ฐ์ ์ ๋ณดํฌ์ด ๋ ์ ๋ง์ด๋ค. ํ๋ ๋ค๋ฆฌAI, ํํ ์ฐธ๊ฐ์ ๋์์ผ๋ก AI ์ธํ๋ผ ๊ธฐ์ ์ ์ ํ๋ ๋ค๋ฆฌAI๋ ICML ์ฐธ๊ฐ์๋ฅผ ๋์์ผ๋ก ํ ๊ตฌ์ธ๊ตฌ์ง๊ณผ ๊ธฐ์ ์๊ฐ๋ฅผ ์ํด ๋ถ์ค๋ฅผ ๋ง๋ จํ๋ค / ์ถ์ฒ=IT๋์ ํ๋ ๋ค๋ฆฌAI๋ ๋
ผ๋ฌธ ์ ์ถ ์์ด ํ๊ณ ๊ด๊ณ์๋ค์ ๋์์ผ๋ก ๊ธฐ์ ์๊ฐ ๋ฐ ๋น์ฆ๋์ค ๊ธฐํ๋ฅผ ๋ง๋ จํ๊ธฐ ์ํด ๋ถ์ค๋ฅผ ์ด์๋ค. ํ๋ ๋ค๋ฆฌAI๋ ์์ฑํ AI๋ฑ ๋๊ท๋ชจ ์ธํ๋ผ ์์์ ์ด์ํ ๋ ๋ฐ์ํ๋ ์ถ๋ก ์๋ ์ ํ, ์์ ๋น์ฉ ๋ฑ์ ํด๊ฒฐํ๋ AI ์ธํ๋ผ ์ํํธ์จ์ด ์คํํธ์
์ด๋ค. ํ๋ ๋ค๋ฆฌAI๋ LLM ์๋น์ ๋๋ฆฌ ํ์ฉ ์ค์ธ vLLM์ ๊ธฐ์ ์ ๊ธฐ๋ฐ์ธ โ์ปจํฐ๋ด์ด์ค ๋ฐฐ์นญโ๊ณผ ๊ด๋ จ๋ ์์ฒ ๊ธฐ์ ์ ๊ฐ์ง ๊ธฐ์
์ด๋ค. ํ๋ ๋ค๋ฆฌAI๋ ์คํ๋ผ์ฐํฐ๊ฐ ์ง๋ 5์ 15์ผ๋ถํฐ 22์ผ ์ง๊ณํ ์ถ๋ก ๊ณต๊ธ์
์ฒด์ ์ค๊ฐ ์ฒ๋ฆฌ๋ ์ง๊ณ์ ๋ฐ๋ฅด๋ฉด ํ๋๋ค๋ฆฌAI๊ฐ ์ต๋ 73ํ ํฐ, ํ๊ท 65ํ ํฐ์ผ๋ก ๊ฐ์ฅ ๋๊ณ ํฌ๊ฒ๋AI์ ์์ด์ค๋ท๋ท, ์ํ๋ผ์คํด๋ผ์ฐ๋์ ํ์ด์ด์์ค ๋ฑ์ด ๋ค๋ฅผ ์ด์๋ค. ๋ํ ์ง๋ 6์ 17์ผ์ง๊ณ๋ GLM-5.2 ์ฒ๋ฆฌ๋ ์ง๊ณ์์๋ ํ๋ ๋ค๋ฆฌAI๊ฐ ์ด๋น ํ๊ท 47ํ ํฐ, ํ๊ท ๋๊ตฌ ํธ์ถ ์ค๋ฅ์จ 0.11%๋ก ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ฌ์คฌ๋ค. ์๋น์ค๋ ํด๋ก๋ ์ฝ๋, ์ปค์, ์คํ์ฝ๋ ๋ฑ ๋ค์ํ AI ์์ด์ ํธ๋ค์ ์ง์ํ๋ฉฐ, ์ต๊ทผ ํฌ๋ก(Kilo)์ ํ์
ํด ์๋น๋์ ๋ค๋ชจํธ๋ก ์คํ ๋ชจ๋ธ์ ํ์ฉํด ๋๊ท๋ชจ AI ์์ด์ ํธ๋ฅผ ๊ตฌ์ถํ๊ธฐ ์ํ ํํธ๋์ญ๋ ์ฒด๊ฒฐํ๋ค. ํฌ๋ก ์ธก์ ์ง๋ 1๋
๊ฐ ๋ค์ํ ์คํ ๋ชจ๋ธ ๋ฐ ํ์ํ ๋ชจ๋ธ์ ํธ์คํ
ํ๋ ์ถ๋ก ์ ๊ณต์๋ฅผ ์ํํด์๋๋ฐ, GLM-5 ์ฌ์ฉ ์ฌ๋ก์์ ํ๋ ๋ค๋ฆฌ AI์ ๊ฒฐ๊ณผ๋ ๊พธ์คํ 7๋ฐฐ ๋น ๋ฅด๊ณ ์ค๋ฅ์จ๋ ํ์ ํ ๋ฎ์ ๊ฒ์ผ๋ก ํ๊ฐํ๋ค. ์์ธ๋ฌ ๋ถ์ค ํ์ฌ ์ด์ธ์๋ ์ง๋ 6์ผ, ICML ์ฐธ์์ ์ํด ํ๊ตญ์ ๋ฐฉ๋ฌธํ ์ฐ๊ตฌ์ง, ๊ฐ๋ฐ์ ๋ฑ์ ๋์์ผ๋ก ๋คํธ์ํน ํ์ฌ๋ฅผ ์ด๊ณ ๊ธฐ์ ๊ต๋ฅ ๋ฑ์ ์งํํ ๋ฐ ์๋ค. ๋ฒ ์ฌAI, ๊ณ ์ฑ๋ฅ AI ์ธํ๋ผ ์ฐพ๋ ์ฐ๊ตฌํ์ ๋ฌ๋ธ์ฝ ๋ฒ ์ฌAI๋ AI ์ธํ๋ผ ์ ๋ฌธ ๊ธฐ์
์ผ๋ก ๊ฐ์ฅ ๊ณ ์ฑ๋ฅ์ ์ต์ ์์์ ํ์ฉํ๋ ์ฐ๊ตฌ์๋ค์๊ฒ ์๋น์ค๋ฅผ ์๊ฐํ๊ธฐ ์ํด ์ฐธ๊ฐํ๋ค / ์ถ์ฒ=IT๋์ AI ์ธํ๋ผ ์ ๋ฌธ ๊ธฐ์
๋ฒ ์ฌAI๋ ๋ถ์ค ์ ์์ ๋๋ถ์ด ๋จ์๋ ์ฐ๊ตฌ์์ด ์ ์ถํ โDLLM-JEPA: ๋ง์คํฌ๋ ๋ํจ์ ์ธ์ด๋ชจ๋ธ์ ์ํ ๊ฒฐํฉ ์๋ฒ ๋ฉ ์์ธก ์ํคํ
์ฒโ๊ฐ ICML 2026 SPIGM ์ํฌ์์ ์ฑํ๋๋ค. ํด๋น ๋
ผ๋ฌธ์ ํฉ์ฑ๊ณฑ ์ ๊ฒฝ๋ง์ ์๋ฒ์ง์ด์ ์ธ๊ณ 4๋ AI ์ํ์ผ๋ก ๋ถ๋ฆฌ๋ ์ ๋ฅด์ฟค ๊ต์๊ฐ ์ ์ํ JEPA(๊ณต๋ ์๋ฒ ๋ฉ ์์ธก ์ํคํ
์ฒ)๋ฅผ LLM์ผ๋ก ์ ์ฉํ ๋ฒ์ ์์ ๋ง์คํฌ ๋ํจ์ ์ธ์ด ๋ชจ๋ธ์ ๊ฒฐํฉํ DLLM-JEPA๋ฅผ ๋ค๋ฃฌ๋ค. ๊ธฐ์กด์ ์์ฑํ AI๋ ์ด๋ฏธ์ง์ ์ง์์ง ๋ถ๋ถ์ ์ฑ์ฐ๊ฑฐ๋ ๋น ๋ด์ฉ์ ์ถ์ธกํ๊ธฐ ์ํด ๋ชจ๋ ์ธ๋ถ ์ ๋ณด๋ฅผ ๋ณต์ํ๋ ค ํ๋ค. ์ด๋ฐ ๋นํจ์จ์ ๋ง๊ธฐ ์ํด ์ ๋ฅด์ฟค ๊ต์๋ ์์ฑํ AI๊ฐ ์ถ์์ ์ธ ๊ณต๊ฐ์์ ๋ค์ ์ํฉ์ ์์ธกํ ์ ์๋ ๋์ ๋ฐฉ์์ ๊ฐ๋ฐํ๋๋ฐ ์ด๊ฒ์ด JEPA๋ค. JEPA๋ ์ต๊ทผ ๋ํ์ธ์ด๋ชจ๋ธ ๋ฒ์ ์ธ LLM-JEPA๋ก ๋ฐ์ ํ๋๋ฐ ๋ค๋ฅธ ๋ ๊ฐ์ง ๋ฐ์ดํฐ๋ฅผ ๋ค์ค์ผ๋ก ์๊ตฌํ๊ณ , ๊ตฌ์กฐ์ ํ๊ณ๋ก ์ธํด ์ฐ์ฐ ์์ฒด๋ฅผ ๋ ๋ฒ์ฉ ๋ฐ๋ณตํด์ผ ํ๋ ๋จ์ ์ด ์๋ค. ๋
ผ๋ฌธ์์๋ ๋จ์ด๋ฅผ ๋ฌด์์๋ก ๊ฐ๋ฆฌ๋ ๋ง์คํน ๊ธฐ์ ์ ํ์ฉํด ์๋ก ๋ค๋ฅธ ๋ ๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ์ ๊ณตํ๋ ํจ๊ณผ๋ฅผ ๋ง๋ค๊ณ , ์ค๊ณ์ ํ ๋ฒ๋ง ์งํํด๋ ํ์ต์ด ๊ฐ๋ฅํ๋๋ก ๊ฐ์ ํด LLM-JEPA์ ์ฐ์ฐ ์ด๋์ 33% ์ ๊ฐํจ์ ์
์ฆํ๋ค. ๋ฒ ์ฌAI๋ ์ด๋ฒ ์ฐ๊ตฌ๋ฅผ ๋ฐํ์ผ๋ก ํฅํ ๋๊ท๋ชจ AI ๋ชจ๋ธ์ ํ์ต ํจ์จ์ ๋์ด๊ณ , MLOps๋ก๋ถํฐ ์์ํ ๊ธฐ์ ๊ธฐ์
์ผ๋ก์์ ์
์ง๋ฅผ ๊ณ์ํด์ ๋ค์ ธ๋๊ฐ ์์ ์ด๋ค. ICML์ ์ ์ธ๊ณ AI ์ํ ๋ฐ ์ฐ๊ตฌ์๋ค์ด ์ง๊ฒฐํ๋ ์๋ฆฌ๋ก ๋งค๋
์๋ง์ ๊ตฌ์ธ๊ตฌ์ง ์๋ฆฌ๊ฐ ๋ง๋ จ๋๋ค. ๋ฒ ์ฌAI ์ญ์ ICML์ ์ฐธ๊ฐํด ๊ธฐ์ ์๊ฐ๋ ๋ฌผ๋ก ์ธ์ฌ๋ชจ์ง๋ ๊ฐ์ด ์งํํ๋ค / ์ถ์ฒ=IT๋์ ์ ์งํ ๋ฒ ์ฌAI ์ต๊ณ ๊ธฐ์ ์ฑ
์์(CTO)๋ โICML์ ํ์ ํ์ฌ์ง๋ง ๋ํ AI ๊ธฐ์
๋ค๊ณผ ํ์ดํผ์ค์ผ์ผ๋ฌ๋ค์ ๊ฐ์ถ์ฅ์ด๊ธฐ๋ ํ๋ค. ์ ์ธ๊ณ์ ์ผ๋ก AI ์ธํ๋ผ ๊ฒฝ์์ด ์ฌํ๋๊ณ ์์ง๋ง ๋ฒ ์ฌ AI๋ ๋จ์ํ AI ์ธํ๋ผ๋ฅผ ๊ณ ๊ฐ์๊ฒ ํ๋งคํ๋ ๊ฒ ์๋๋ผ AI๋ฅผ ํ์ฉํ ๊ฐ์น์ ๋ชฉ์ ์ ๋ ๋นจ๋ฆฌ ๋ฌ์ฑํ ์ ์๋๋ก ๋๋ ๊ธฐ์
์ด๊ณ ์ถ๋คโ๋ผ๊ณ ๋งํ๋ค. ๋ํ โํ์ ํ์ฌ์์๋ ๊ณ ์ฑ๋ฅ AI ๊ธฐ์ ๊ณผ ์ฒจ๋จ ๊ธฐ์ ์ ๊ฐ์ฅ ๋นจ๋ฆฌ ์ ํ๋ ์ฐ๊ตฌ์๋ค์ ์ง์ ๋ง๋ ์ ์๋ค. ๋ฒ ์ฌAI ์ญ์ ํ์ ํ์ฌ๋ก ์ ํ ์ฐ๊ตฌ์๋ค์ ์ง์ํด ์ฑ๊ณผ๋ฅผ ๋๊ณ , ์ฐ๊ตฌ์๋ค๋ก๋ถํฐ ์๋น์ค ๊ฐ์ ์ ์ ์ฐพ๋ ๋ฑ ์ฌ์
๊ณ ๋ํ ๋ฐฉ์์ผ๋ก ์ผ๊ณ ์๋ค. ๊ณ ๊ฐ์ด์ ์๊ฒฌ ์๋ ด์ ์ฐฝ๊ตฌ๋ก์ ICML์ ์ฐธ์ฌํ ์
โ์ด๋ผ๊ณ ๋งํ๋ค. ๋ํ์ธ์ด๋ชจ๋ธ ์ถ๋ก ์ ์ต์ ํ๋ LPU ์๊ฐ ๋์ ํ์ดํผ์์
ํ์ดํผ์์
์ ๊ธ๋ก๋ฒ AI ์ฐ๊ตฌ์๋ค์ ๋์์ผ๋ก ์ถ๋ก ์ ์ฉ AI ๊ฐ์๊ธฐ์ธ โLPUโ๋ฅผ ์๊ฐํ๊ณ ๋์ฐ๋ค / ์ถ์ฒ=IT๋์ ํ์ดํผ์์
์ ๊ธ๋ก๋ฒ ๊ธฐ์ ๊ธฐ์
๋ฐ ์ฐ๊ตฌ์๋ค์๊ฒ LLM ์ถ๋ก ์ ์ต์ ํ๋ ๊ณ ํจ์จ AI ๊ฐ์๊ธฐ LPU(LLM Processing Unit)์ ์ ๋ณด์ด๊ธฐ ์ํด ๋ถ์ค๋ฅผ ๋ง๋ จํ๋ค. ํ์ดํผ์์
์ 4๋๋
ธ๋ฏธํฐ ๊ณต์ ๊ธฐ๋ฐ์ LPDDR5X ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ ์ฉํ ๋ฒ ๋ฅด๋ค(Bertha) ์ถ์๋ฅผ ์๋๊ณ ์์ผ๋ฉฐ, ICML 2026์์ ์ฒ์์ผ๋ก ์ธํด๋ก์ ๋ด๋ถ๋ฅผ ๊ณต๊ฐํ๋ฉฐ AI ๊ฐ์๊ธฐ๊ฐ ์์ฑ๋์์์ ์๋ ธ๋ค. ํ์ดํผ์์
๋ถ์ค๋ LPU๋ฅผ ํ์ฉํ ๋๊ท๋ชจ ์ถ๋ก ์์
์ ์ ๋ ฅ ๋ฐ ๋น์ฉ ํจ์จ์ฑ์ ํ์ธํ๊ณ , ๊ณ ๋์ญํญ ๋ฉ๋ชจ๋ฆฌ(HBM)๊ฐ ์๋ LPDDR5X ๊ธฐ๋ฐ์ AI ๊ฐ์๊ธฐ์ ๋ฉ๋ชจ๋ฆฌ ๊ตฌ์ฑ์ ํ์ธํ๊ณ ์ ๋ค์ํ ๋ถ์ผ์ AI ์ ๋ฌธ๊ฐ๋ค์ด ๋ชฐ๋ ธ๋ค. ํ์ดํผ์์
์ ๋ฒ ๋ฅด๋ค 500 LPU / ์ถ์ฒ=IT๋์ ์ด๋ฒ์ ์ถ์๋ ๋ฒ ๋ฅด๋ค 500 LPU๋ PCIe ๊ธฐ๋ฐ์ ์๋ฒ์ฉ AI ๊ฐ์๊ธฐ๋ก 250W์ ์ด์ค๊ณ์ ๋ ฅ(TDP)์ ๊ฐ์ท๋ค. ๋ฉ๋ชจ๋ฆฌ๋ 256MB์ S๋จ๊ณผ ๊ธฐ๋ณธ 128GB ๋ฐ ์ต๋ 256GB์ LPDDR5X๋ฅผ ๊ฐ์ท์ผ๋ฉฐ LPDDR5X์ ๋์ญํญ์ ์ด๋น 546GB๋ค. HBM ๊ธฐ๋ฐ AI ๊ฐ์๊ธฐ์ ๋น๊ตํด LPDDR5X์ ๋์ญํญ์ด ๋ถ์กฑํ๊ธด ํ์ง๋ง, ์ด๋น ์์ญ TB ์์ค์ ์ด๊ณ ์ S๋จ์ด ๋ณด์กฐ๋ฅผ ๋ง์ถ๋ฉด์ ์ถ๋ก ์ฑ๋ฅ๊ณผ ์์ ์ฑ์ ๊ฐ์ท๋ค. ์ฐ์ฐ ์ฑ๋ฅ์ FP16 ๊ธฐ์ค 384ํ
๋ผํ๋กญ์ค, FP8 ๊ธฐ์ค 768ํ
๋ผํ๋กญ์ค๋ก ๋์ ํธ์ ์๋์ง๋ง ์ถ๋ก ์ ์ฉ ๋ฐ๋์ฒด๋ฉด์ ๋งค์ฐ ๋์ ๊ฐ๋๋ฅ ์ ์ง์์ ์ผ๋ก ์ ์งํ๋ ์ฝ์
ํธ์ธ ๊ฒ ํน์ง์ด๋ค. ICML, ์ธ๊ณต์ง๋ฅ์ ์ํ ์ถ์ ์ ์ฅ์ด์ ์ด์ฑ์๋ ๊ฒฉ์ ์ง ICML 2026 ์ฒซ๋ , ํํ ๋ฆฌ์ผ ํ์ฌ์๋ ์๋ง์ ์ฐ๊ตฌ์๋ค์ด ๋ฐ๋ชฌ์คํธ๋ ์ด์
์ ๋ณด๊ธฐ ์ํด ํ์ฌ์ฅ์ ์ฐพ์๋ค / ์ถ์ฒ=IT๋์ ICML์ NeurIPS, ICLR๊ณผ ํจ๊ป ์ธ๊ณต์ง๋ฅ ์
๊ณ์ 3๋ ํํ๋ก ๋ถ๋ฆฐ๋ค. ์ด์ค ICML์ ๊ฐ์ฅ ์ญ์ฌ๊ฐ ์ค๋๋๊ณ ์ด๋ก ์ ๊ธฐ์ด๋ ์๊ณ ๋ฆฌ์ฆ, ์ํ์ ์ฆ๋ช
์ ๊ฐ์กฐํ๋ค. ์ฐ๋ฆฌ๋๋ผ์์ ICML์ด ๊ฐ์ต๋ ๊ฒ์ ์ ์ธ๊ณ AI ์
๊ณ ์ ๋ฐ์์ ์ฃผ๋ชฉํ ๋งํ ์ผ์ด๋ฉฐ ํฅํ ๋ค๋ฅธ AI๋ ๊ด๋ จ ํํ๊ฐ ๋ค์ ํ๋ฒ ํ๊ตญ์์ ์ด๋ฆด ์ ์๋ ์ข์ ์ฌ๋ก๊ฐ ๋ ์ ์๋ค. ํนํ๋ ํํ์์ ์ ์๋ ๊ธฐ์ ๊ณผ ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ค์ ํฅํ 2~3๋
์ ๊ฑธ์ณ ์ ์ธ๊ณ IT ๊ธฐ์
๋ค์ ์ํฅ์ ๋ฏธ์น๋ค๋ ์ ์์ ์ฃผ๋ชฉํด์ผ ํ๋ค. ์คํAI๋ ๋ํ ๋ถ์ค๋ฅผ ๋ง๋ จํ๊ณ ๊ธ๋ก๋ฒ ์ฐ๊ตฌ์๋ค๊ณผ์ ์ ์ ์ ๋ง๋ จํ๋ค / ์ถ์ฒ=IT๋์ ์์ฝ๊ฒ๋ ์ฌํด ํ์ฌ๋ ์ฐ๋ฆฌ๋๋ผ ๊ธฐ์
๋ค์ ์ฐธ์ฌ๋๊ฐ ์๋นํ ๋ฎ์๋ค. ์ฌํด ๋ถ์ค๋ฅผ ์ฐจ๋ฆฐ ์ฐ๋ฆฌ๋๋ผ ๊ธฐ์
๋ค์ ๊ธฐ์๊ฐ ์ทจ์ฌํ ๋ถ์ค๊ฐ ์ ๋ถ๋ค. ํด์ธ ๊ธฐ์
๋ค์ ๊ฒฝ์ฐ ๊ตฌ๊ธ, ๋ง์ดํฌ๋ก์ํํธ, ๋ฉํ, ์คํAI๋ ๋ฌผ๋ก ์ฌ์ง์ด CES, MWC ๋ฑ์ IT ๋ฐ๋ํ์๋ ์ ๋๋ก ๋ถ์ค๋ฅผ ์ฐจ๋ฆฌ์ง ์๋ ์ ํ์กฐ์ฐจ ์ฐธ์ฌํ๋ค. ์ ํ์ ๋ช ๋
์ ๋ถํฐ CVPR, NeurIPS ๋ฑ์ ํ์ ํ์ฌ์ ํํด์๋ ๋ถ์ค๋ฅผ ์ฐจ๋ฆฌ๊ณ ์๋ค. ์ด์ ๋ง ํ๊ตญ์ ์ง์ถํ๊ฒ ๋ค๋ ๋ป์ ๋ฐํ ํ๋์ค์ ๋ฏธ์คํธ๋๋ ๊ฝค ํฐ ๋ถ์ค๋ฅผ ๋ง๋ จํ์ผ๋ฉฐ, ์ค๊ตญ๊ณ AI ๊ธฐ์
์ธ ๋ฐ์ดํธ๋์ค, ์๋ฆฌ๋ฐ๋ฐ๋ ๋ฌผ๋ก ์ค์ค๋ฏธ๋ ๋ํ ๋ถ์ค๋ฅผ ํตํด ์ฐ๊ตฌ์๋ค๊ณผ์ ์ ์ ์ ๋ง๋๋ ๋ชจ์์์๋ค. ICML ์
๊ตฌ์ ๋ง๋ จ๋ ์ก ๋ณด๋, ์ต๊ทผ AI ํํ์์ ์ธ๋ ฅ์ ์ฑ์ฉํ๋ ๊ฒฝ์ฐ๊ฐ ๋๋ฉด์ ํ๋์ ์์ง์ ์ธ ๋ฌธํ๋ก ์๋ฆฌ ์ก์๋ค / ์ถ์ฒ=IT๋์ AI ํํ๋ ์ด์ ๋จ์ํ ์ฐ๊ตฌ์๋ค์ ์ํ ์๋ฆฌ๊ฐ ์๋ ๋น
ํ
ํฌ ๊ธฐ์
๋ค์ ๊ธฐ์ ๊ฒฝ์๋ ฅ์ ๊ณผ์ํ๊ณ , ๊ณ ๊ธ AI ์ธ์ฌ๋ค์ ์ฑ์ฉํ๊ธฐ ์ํ ์๋ฆฌ๊ฐ ๋๊ณ ์๋ค. ์
๊ตฌ์ ์๋ ๊ตฌ์ธ ๊ฒ์ํ์ ๋จ์ํ ๊ตฌ์ง์๋ค์ ์ํ ๊ฒ์ด ์๋ ๊ธ๋ก๋ฒ ํํ์ ์ด๋๋ ๋งํผ ๊ณ ๊ธ AI ์ธ๋ ฅ๋ค์ ํ๋ณดํ๊ธฐ ์ํ ์์ง์ ์ธ ๊ณต๊ฐ์ด ๋๋ค. ๋ฌผ๋ก โ๊ธฐ๊ณํ์ตโ์ด๋ผ๋ ํ์ ๋ ๋ถ์ผ๋ผ์ ๊ตญ๋ด ๊ธฐ์
์ค์์๋ ๊ฒฐ์ด ๋ง๋ ๊ณณ๋ง ์ฐธ์ฌํ๊ธฐ๋ ํ์ผ๋, ๊ฒฐ์ด ๋ง์์๋ ์ฐธ์ฌํ์ง ์์ ๊ธฐ์
๋ค๋ ๋ณด์ธ๋ค. ์ฐ๋ฆฌ๋๋ผ๊ฐ ์ธ๊ณ 3๋ AI ๊ฐ๊ตญ์ ์
์ง๋ฅผ ๋ค์ง๊ณ ์ถ๋ค๋ฉด ๋ณด๋ค ๋ฏธ๋์ ์ธ๋ ฅ๊ณผ ์์ฅ์ ๋ณด๊ณ ์ ๊ทผํ ํ์๊ฐ ์๋ค. IT๋์ ๋จ์ํ ๊ธฐ์ (sh@itdonga.com)