안녕하세요!

​Digital 시대를 만들어가는 Embedded System과 산업용컴퓨터 및 Display Solution 전문 기업 비맥스테크놀로지​입니다!

(사진=셔터스톡)

미스트랄이 휴대폰이나 노트북과 같은 엣지 디바이스에 최적화된 온디바이스 인공지능(AI) 모델을 출시했습니다. 하지만, 기존과 달리 오픈 소스가 아닌 유료 모델로 공개했습니다.

​

벤처비트는 16일(현지시간) 미스트랄이 엣지 전용 온디바이스 AI 모델 ‘레 미니스트로(Les Ministraux)'를 ▲미스트랄 3B ▲미스트랄 8B 등 두가지 버전으로 출시했다고 보도했습니다.

​

레 미니스트로는 퍼블릭 클라우드가 아닌 환경에서도 고성능 AI를 휴대폰이나 랩톱 및 사물인터넷(IoT) 기기에서 효율적으로 실행할 수 있도록 설계된 AI 모델입니다.

​

소형모델이지만, 대형언어모델(LLM)처럼 12만8000토큰의 큰 컨텍스트 창을 갖췄다는 게 강점입니다.

​

여기에 전문가 작업 및 함수 호출 기능을 통한 AI 에이전트 애플리케이션 구축을 위해 설계됐다는 것이 특징입니다.

​

미스트랄 라지와 같은 LLM을 조정, 다단계 워크플로우에서 에이전트로 사용할 수 있다. 입력 구문 분석, 작업 라우팅, 애플리케이션 호출 등을 비용 효율적으로 처리할 수 있다는 설명입니다.

​

특히 미스트랄 8B는 ‘인터리브 슬라이딩 윈도우 어텐션(nterleaved sliding-window attention)’ 메커니즘을 사용, 긴 텍스트 시퀀스를 기존 모델보다 효율적으로 처리할 수 있다고 강조했습니다.

​

이를 통해 노트북이나 휴대폰에서 번역이나 업무 지원, 로컬 분석, 자율 로봇, 응용 프로그램 개발 등 다양한 용도로 활용할 수 있다. 인터넷 연결 없이 작동이 가능, 개인정보 보호에서도 강점을 보입니다.

​

벤치마크 테스트 결과, 대부분 작업에서 기존 미스트랄 7B 모델보다 월등한 성능을 기록했습니다.

​

타사 모델도 능가헸다. 미스트랄 3B는 멀티태스크 언어 이해(MMLU) 평가에서 60.9점을 기록해 구글 '젬마 2 2B'의 52.4점과 메타 '라마3.2 3B'의 56.2점을 따돌렸습니다. 미스트랄 8B는 65.0점을 기록, '라마 8B'의 64.7점을 넘었습니다.

​

현재는 미스트랄 8B만 연구용으로 다운로드할 수 있습니다. 미스트랄 3B와 미스트랄 8B를 미세조정해 자체 모델을 배포하려면 별도의 상업용 라이선스를 획득해야 합니다.

​

또 미스트랄AI 클라우드 플랫폼이나 파트너십을 맺은 다른 클라우드를 통해서 사용할 수 있습니다. 미스트랄 8B는 100만 입·출력 토큰 당 10센트, 미스트랄 3B는 4센트의 비용이 듭니다.

​

출처: AI타임즈

혹시나 더 궁금하신 점이나 문의사항이 있으시면 ​비맥스테크놀로지​​로 문의해 주세요!

오늘도 비맥스테크놀로지의 공식 블로그에 방문해 주셔서 감사합니다:)