Copilot이 PC에서 로컬로 실행되고 있습니까? 마이크로소프트의 새로운 AI가 열쇠가 될 수 있다

많은 사람들은 Microsoft가 결국 Windows 내에서 PC에서 바로 실행되는 Copilot 버전을 제공할 것이라고 믿습니다. Microsoft가 로컬 장치에서 실행되도록 특별히 설계된 새로운 AI 모델, 즉 LLM을 선보였을 수도 있습니다.

월요일에 Microsoft는 약간 오래된 ChatGPT 3.5 및 Mixtral 8x7B의 성능과 맞먹는 38억 매개변수 언어 모델인 “Phi-3-mini”를 출시했습니다. 이 논문의 제목은 “Phi-3 기술 보고서: 휴대폰에서 로컬로 실행 가능한 뛰어난 언어 모델”입니다. 이는 Microsoft가 이제 PC에서 직접 실행할 수 있는 LLM을 보유하고 있다는 분명한 증거입니다.

Microsoft는 Phi-3-mini가 PC에서 로컬로 실행되는 차세대 Copilot이 될 것이라고 말하지 않았습니다. 그러나 그것이 사실이고 우리가 그것이 얼마나 잘 작동할 것인지에 대한 아이디어를 가지고 있다는 사례가 있습니다.

1.) 지역 AI 문제

이는 익숙한 주장입니다. Bing, Google Gemini, Claude 또는 Copilot에 검색 요청을 보내면 해당 요청은 클라우드에 저장됩니다. 이는 당황스러울 수도 있고(“이 사마귀가 나쁜가요?”) 민감한 것일 수도 있고(“메일을 훔쳐서 문제가 생길 수 있나요?”) 은행 명세서 목록처럼 전혀 유출하고 싶지 않은 것일 수도 있습니다.

기업은 Copilot과 같은 AI를 통해 데이터에 대해 질문하고 싶어하지만 현재까지 Copilot의 “온프레미스” 버전은 없습니다. Copilot의 로컬 버전은 현재 거의 필요한 옵션입니다.

2.) Phi-3-mini는 작고 좋습니다.

많은 로컬 LLM에는 PC에만 필요한 파일을 저장하기 위해 최소 8GB의 RAM과 수 기가바이트의 저장 공간이 필요합니다. 이는 LLM이 “양자화”되거나 압축되었다고 가정합니다. Copilot이 클라우드에서 실행되는 이유가 있습니다. Microsoft의 Azure 클라우드에는 이를 수용하는 데 필요한 컴퓨팅과 스토리지가 모두 있기 때문입니다.

이것은 논문의 가장 중요한 내용 중 하나입니다. “작은 크기 덕분에 phi3-mini는 4비트로 양자화되어 약 1.8GB의 메모리만 차지합니다.”라고 적혀 있습니다. “우리는 양자화된
A16 Bionic 칩이 탑재된 iPhone 14에 phi-3-mini를 배포하여 기기에서 기본적으로 실행되고 완전히 오프라인으로 초당 12개 이상의 토큰을 달성하는 모델입니다.”

이것이 의미하는 바는 1.8GB의 추가 메모리가 있는 PC에서 로컬 버전의 Copilot을 실행할 수 있다는 것입니다. 이는 8GB RAM을 갖춘 레거시 PC를 포함하여 현재 상태보다 훨씬 더 많은 PC입니다. 그리고 iPhone에서 실행할 수 있다면 대부분의 PC에서도 실행할 수 있습니다.

LLM은 도트 매트릭스 프린터처럼 데이터를 출력하므로 초당 12개의 토큰은 초당 약 48자입니다. 훌륭하지는 않지만 너무 초라하지는 않습니다.

3.) 성능도 좋지만 너무 좋지는 않습니다.

Microsoft는 여전히 사람들이 클라우드에서 Copilot을 사용하고 Copilot Pro와 같은 구독 비용을 지불하도록 유혹하고 싶어합니다. 그리고 Microsoft는 Phi-3-mini가 다른 LLM과 마찬가지로 어떻게 작동하는지 보여주기 위해 시간을 쏟습니다. 그러나 매개변수 수가 적다는 것은 AI 모델이 더 정교한 LLM만큼 “알지” 못한다는 것을 의미합니다.

하지만 Microsoft에는 해결책이 있습니다. “모델에는 너무 많은 ‘사실적 지식’을 저장할 수 있는 용량이 없습니다. 이는 예를 들어 TriviaQA(벤치마크)의 낮은 성능에서 볼 수 있습니다.”라고 논문에서는 언급합니다. “그러나 우리는 검색 엔진을 강화하면 이러한 약점이 해결될 수 있다고 믿습니다.”

빙이 구출해 드려요!

4.) Microsoft Build가 한 달 전입니다.

Microsoft의 개발자 컨퍼런스가 한 달 후에 시작됩니다. 이를 통해 Microsoft는 5월 21일 시작되기 전에 개발자와 사용자에게 시연하기 위해 Phi-3-mini 위에서 실행되는 Copilot 버전을 얻을 수 있는 시간을 갖게 되었습니다. 프로토타입을 준비하고 몇 가지 쿼리를 테스트하는 데 충분한 시간이 될 것입니다.

물론 Copilot이 쇼의 스타가 될 것입니다. 귀하의 PC에서 기본적으로 실행되는 제품을 얻을 수 있습니까? 예전보다 그럴 가능성이 훨씬 높아졌다고 봅니다.