안녕하세요!

​Digital 시대를 만들어가는 Embedded System과 산업용 컴퓨터 및 Display Solution 전문 기업 비맥스테크놀로지입니다!

​

마이크로소프트(MS)가 소형 중앙처리장치(CPU)로 구동되는 고효율 인공지능(AI) 모델을 공개해 주목받고 있습니다.

17일 테크크런치에 따르면 MS 연구원들은 경량형 AI 모델 '비트넷 b1.58 2B4T'를 개발했습니다.

 

MS가 CPU로 구동할 수 있는 AI 모델 '비트넷'을 개발했다. (사진=미국 지디넷닷컴)

 

비트넷은 AI 구동에 필요한 대용량 그래픽처리장치(GPU) 자원이 아닌 소형 CPU에서 실행할 수 있도록 설계된 압축 모델입니다. 애플의 M2와 같은 상용 CPU에서 작동 가능한 것으로 알려졌습니다.

​

비트넷은 기존의 거대 AI 모델 대비 메모리 연산 효율을 높인 것이 특징입니다. 모델의 내부 구조를 정의하는 값인 가중치를 -1, 0, 1의 세 가지 값으로 양자화하는 방식을 도입해 컴퓨터가 처리할 수 있는 비트 수를 줄여 연산 속도를 높였습니다.

MS 연구진은 "비트넷이 20억 개의 매개변수를 지닌 기존의 AI 모델들보다 성능이 우수하다"고 주장했습니다.

​

앞서 MS는 비트넷에 대해 초등학교 수준의 수학 문제를 푸는 'GSM8K'와 물리적 상식 추론 능력을 테스트하는 'PIQA' 등의 자체 벤치마크 테스트를 수행했습니다.

​

MS는 "자체 테스트에서 비트넷이 메타의 '라마3.2 1B'와 구글의 '젬마3 1B', 알리바바의 '큐원2.5 1.5B'를 능가했다"며 "비트넷은 같은 크기의 다른 모델보다 훨씬 빠르고 메모리 사용량은 더 적다"고 밝혔습니다.

다만 이같은 성능을 구현하기 위해선 MS의 프레임워크인 '비트넷.CPP'를 활용해야 하는 것으로 전해졌습니다. 해당 프레임워크는 현재 특정 하드웨어서만 작동 가능한 상황입니다.

​

또 CPU상에서의 실행에 집중돼 있어 AI 인프라 부문에서 가장 큰 비중을 차지하는 GPU에 대해서는 지원하지 않고 있습니다.

테크크런치는 "비트넷은 컴퓨팅 자원이 제한된 기기에서 유용할 수 있다"며 "하지만 호환성 문제가 앞으로도 가장 큰 걸림돌"이라고 설명했습니다.

출처:지디넷코리아

 

비맥스테크놀로지는 원하시는 사양으로 완성 후 철저한 검사를 통해 최적의 PC를 고객님들께 제공해 드리고 있습니다.

​

*넓은 온도 범위 및 견고한 임베디드 팬리스 컴퓨터

*다중 GigE / PoE 포트가 있는 머신 비전 플랫폼

*GPU 엣지 AI Computing(컴퓨팅) 차내 팬리스 PC

*초소형 팬리스 컨트롤러

*감시 / 비디오 분석 컴퓨터 시스템

​

혹시나 더 궁금하신 점이나 문의사항이 있으시면 ​비맥스테크놀로지​​로 문의해 주세요!