온디바이스 AI 모델 고르는 법

모델은 파일이 다른 것들과 함께 메모리에 넉넉히 들어갈 때 기기에서 돌아가요. 실제로는 4비트 모델 기준으로 3 GB 휴대폰에서 약 0.5 GB, 6 GB 휴대폰에서 약 1.3 GB, 8 GB에서 여유 있게 약 2.7 GB예요. 클수록 추론은 좋아지고 나머지는 나빠져요. 속도, 배터리, 발열이요. 실제로 쓰게 될 만큼 빠르게 답하는 것 중에서 가장 큰 걸 고르세요.

세 가지 숫자

파라미터(0.8B, 2B, 4B)는 모델이 학습한 가중치의 규모예요. 파라미터가 많을수록 대체로 추론이 낫고, 세상 지식이 넓고, 영어 밖 언어를 더 잘 다뤄요. 답변 품질을 가장 잘 예측하는 숫자예요.

양자화(Q4_K_M, Q8 등)는 가중치 하나를 몇 비트로 저장하느냐예요. 원래 정밀도는 16비트이고 Q4는 대략 4비트죠. 4비트로 내리면 파일이 약 4분의 1로 줄고, 품질 손실은 채팅에서는 작지만 수학과 코드에서는 눈에 띄어요. 휴대폰에서 돌릴 것은 거의 다 Q4이고, 그게 맞는 기본값이에요.

바이트 단위 파일 크기가 아예 돌아가는지를 결정하는 숫자예요. 모델이 일하는 동안 파일 전체를 메모리에 올려둬야 하니까요. 파일 크기에 대화 컨텍스트 여유를 더한 값을, 기기의 전체 메모리가 아니라 지금 남아 있는 메모리와 비교하세요.

기대할 수 있는 속도

추정치보다 실측값이 나으니 저희 값을 적어둘게요. 벤치마크 표에서 가져온 게 아니라 저희 기기에서 직접 잰 값이에요.

초당 10토큰쯤을 넘으면 읽기 편한 속도예요. 5 아래면 한 단어 한 단어가 느껴지고요. 위 표에서 가장 분명한 경우가 2018년 휴대폰의 4B 모델이에요. 설치는 되지만 설치할 값어치가 없죠. 그래서 Inborn은 내려받은 뒤에 알게 하는 대신 카드에 너무 느리다고 표시해요.

첫 토큰까지 걸리는 시간도 처리량만큼 중요해요. 긴 문서를 작은 모델에 밀어 넣으면 첫 단어가 나오기까지 여러 초가 걸릴 수 있어요. 모델이 무언가를 쓰기 전에 전체를 다 읽어야 하니까요.

크기별로 실제로 잘하는 것

0.8B는 빠른 답, 다시 쓰기, 요약용이에요. 즉시 시작되고 배터리를 거의 건드리지 않는 크기죠. 코드, 수학, 긴 문서에는 약하고, 몇몇 언어를 벗어나면 두어 문장 뒤부터 흔들려요.

2B는 일상 도우미예요. 글쓰기, 일반적인 질문, 주요 언어 번역, 문서에 대한 질문이요. 메모리가 6 GB인 휴대폰이라면 이게 맞는 기본값이에요.

4B는 분석, 코드, 긴 문서용이에요. 더 느리고 기기가 더워지며, 휴대폰에서는 그게 체감돼요. 기다림보다 답이 더 중요할 때 값어치가 있어요.

크기 너머에는 학습이 있어요. Phi-4-mini처럼 추론과 수학에 맞춰 조정한 모델은 같은 크기의 범용 모델을 논리 문제에서 이기고 번역에서는 져요. 어떤 크기에도 최고의 모델 하나는 없어요. 지금 물어보려는 것에 가장 맞는 모델이 있을 뿐이죠.

실제로 고르는 법

가장 작은 모델로 시작해 일주일 써보고 어디서 아쉬운지 보세요. 언어나 긴 문서에서 막히면 한 단계 키우세요. 수학과 코드에서 막히면 크기 대신 계열을 바꾸세요. 한 번도 아쉽지 않았다면 몇 기가바이트와 더 뜨거운 휴대폰을 아낀 거예요.

Inborn은 설치 전에 내 기기에서 모델별로 예상되는 속도 범위를 보여주고, 방금 답한 모델보다 아직 설치하지 않은 모델이 더 잘할 상황이면 알려줘요. 어떤 벤치마크 표보다 나은 안내예요. 결국 의미 있는 벤치마크는 손에 든 하드웨어에서 돌아가는 것뿐이니까요.

다음Ollama, LM Studio와 Inborn 비교 · AI가 내 기기에서 돌아야 하는 이유 · AI 앱이 아무것도 보내지 않는다는 걸 증명하는 법