OHREN_Lab

Open source오픈소스smolmaxxingsmolmaxxing

smolmaxxing, a set of llama.cpp patches that, in its author's own measurements, runs 16B mixture-of-experts models on a TV box and an old iPad with about 1 GB of RAMsmolmaxxing, 저자가 잰 값으로 램 1GB 정도의 TV 박스와 오래된 iPad에서 16B MoE 모델을 돌린 llama.cpp 패치

smolmaxxing is an MIT-licensed set of llama.cpp patches for finding and running the biggest language model a small device can handle. In measurements the README says were taken on the devices themselves, a TV box and a 2013 iPad Air with about 1 GB of RAM ran a 16B mixture-of-experts model, and a phone ran a 35B one. The TV box and the phone ran without root, and the iPad has to be a jailbroken iOS 12 device.smolmaxxing은 작은 기기에서 돌릴 수 있는 가장 큰 언어 모델을 찾아 실행하도록 llama.cpp를 고친 MIT 라이선스 패치 모음입니다. README가 기기에서 잰 값으로는 램이 1GB 정도인 TV 박스와 2013년 iPad Air가 16B MoE 모델을, 휴대폰이 35B 모델을 돌렸습니다. TV 박스와 휴대폰은 루팅 없이 돌렸고, iPad는 탈옥한 iOS 12 기기여야 합니다.

Checked확인일

smolmaxxing is an MIT-licensed project that finds and runs the biggest language model a small device such as a TV box, an old tablet or a phone can handle, and all of it is a patch on llama.cpp. It comes with requirements. It targets a TV box or another ARMv8.2 Android device and a jailbroken iPad on iOS 12. The TV box and the phone in the README run Android 14 and Android 13 without root, while the iPad is jailbroken on iOS 12.5.7. The ready-made model files on Hugging Face need the patched llama.cpp, and stock llama.cpp can't load them. The TV box needs network ADB turned on, and the computer needs adb, zig, cmake, ninja, python3 and uv. Everything on the box lives in /data/local/tmp/llm and runs as the adb shell user, and the chat page is opened over http on port 8090 of the box from any device on the network. The iPad build is cross-compiled from a Mac; change the default root and mobile passwords before anything else, then forward SSH over USB and authorize an SSH key for root. The iPad's web chat listens only on the iPad itself unless told otherwise, but it has no login, so it shouldn't be exposed to a network you don't trust. All three devices keep only part of each model in memory and read the rest from flash as it's needed.smolmaxxing은 TV 박스나 오래된 태블릿, 휴대폰처럼 작은 기기에서 돌릴 수 있는 가장 큰 언어 모델을 찾아 실행하는 MIT 라이선스 프로젝트로, 전부 llama.cpp를 고친 패치로 되어 있습니다. 쓰려면 조건이 있습니다. 대상은 TV 박스나 다른 ARMv8.2 Android 기기, 그리고 iOS 12 탈옥 iPad입니다. README에 실린 TV 박스와 휴대폰은 루팅 없이 Android 14와 Android 13에서 돌렸지만, iPad는 iOS 12.5.7 탈옥 기기였습니다. Hugging Face에 올라온 모델 파일은 이 패치를 적용한 llama.cpp에서만 열리고, 원래 llama.cpp로는 열 수 없습니다. TV 박스는 네트워크 ADB를 켜 두어야 하고, 컴퓨터에는 adb, zig, cmake, ninja, python3, uv가 있어야 합니다. 박스 안의 파일은 모두 /data/local/tmp/llm에 두고 adb shell 사용자로 돌리며, 채팅 페이지는 같은 네트워크의 어느 기기에서나 TV 박스 IP의 8090 포트를 http로 열어 씁니다. iPad 쪽은 Mac에서 교차 컴파일하고, 무엇보다 먼저 root와 mobile의 기본 비밀번호를 바꾼 다음 USB로 SSH를 넘겨 root용 SSH 키를 승인해야 합니다. iPad의 웹 채팅은 따로 지정하지 않으면 iPad 안에서만 열리지만 로그인이 없으니, 믿지 못할 네트워크에는 내놓지 말아야 합니다. 세 기기 모두 모델의 일부만 메모리에 두고 나머지는 필요할 때 플래시에서 읽습니다.

The README lists three devices: a Xiaomi TV Box S (3rd Gen) with 1.9 GB of RAM, about 1 GB of it usable, a 2013 iPad Air with 1 GB, about 700 MB usable, and a OnePlus Nord CE 2 with 7.4 GB, about 3 GB free. In the README's own on-device measurements, the TV box ran Qwen3.5-2B at 7.7 tokens per second and the 16B Ling-mini-2.0 at 5.1, and the iPad ran the 1-bit Bonsai-1.7B at 24 to 26 tokens per second and Ling-mini-2.0 at 2.6 to 4.5. The phone ran Qwen3.6-35B-A3B at 4.9 to 5.7 tokens per second.README가 든 기기는 셋입니다. 램 1.9GB 가운데 1GB 정도를 쓸 수 있는 Xiaomi TV Box S(3세대), 램 1GB 가운데 700MB 정도를 쓸 수 있는 2013년 iPad Air, 램 7.4GB 가운데 3GB 정도가 비어 있는 OnePlus Nord CE 2입니다. README가 기기에서 잰 값으로는 TV 박스가 Qwen3.5-2B를 초당 7.7토큰, 16B인 Ling-mini-2.0을 초당 5.1토큰으로 돌렸고, iPad는 1비트 Bonsai-1.7B를 초당 24~26토큰, Ling-mini-2.0을 초당 2.6~4.5토큰으로 돌렸습니다. 휴대폰은 Qwen3.6-35B-A3B를 초당 4.9~5.7토큰으로 돌렸습니다.

Screenshot from the smolmaxxing README: the live token-stream chat page that llama-server serves on the TV box, writing an answer with speed and model details on the right.
Image: smolmaxxing README.그림: smolmaxxing README. Copyright (c) 2026 Mohamed Rashad · MIT License Open original원본 보기

There are four main ideas. A 1-bit lookup-table kernel and repacked 2-bit and ternary formats target the Cortex-A55, with versions for the A7, which has no dot-product instructions. Rarely used output rows of a small model's vocabulary are dropped to save RAM, and on the TV a headless mode stops the launcher and Google services while a model runs. Mixture-of-experts models keep the popular experts in RAM, read the others from flash on demand and prefetch the next layer's. Dense models bigger than RAM are streamed at the flash's full speed.방법은 네 가지입니다. Cortex-A55에 맞춘 1비트 조회표 커널과 다시 묶은 2비트, ternary 형식을 두고, 내적 명령이 없는 A7용 판도 따로 둡니다. 작은 모델의 어휘 가운데 거의 쓰지 않는 출력 행은 버려 램을 아끼고, TV에서는 모델이 도는 동안 런처와 Google 서비스를 멈추는 headless 모드도 씁니다. 전문가 혼합(MoE) 모델은 자주 쓰는 전문가만 램에 두고 나머지는 필요할 때 플래시에서 읽으며, 다음 층의 전문가를 미리 읽어 둡니다. 램보다 큰 밀집 모델은 플래시의 최대 속도로 흘려 읽습니다.

The README says the quickest start is a ready-made model file from Hugging Face. The repository has separate guides for a TV box or another ARMv8.2 Android device and for a jailbroken iPad on iOS 12, and a page that lists the model files and how to rebuild them. Owners of other small devices can run a model and submit their numbers to be added to the results.README는 Hugging Face의 미리 만든 모델 파일로 시작하는 것이 가장 빠르다고 적었습니다. 저장소에는 TV 박스나 다른 ARMv8.2 Android 기기용 설정 문서와 탈옥한 iOS 12 iPad용 문서가 따로 있고, 모델 파일 목록과 다시 만드는 법을 정리한 문서도 있습니다. 작은 기기에서 모델을 돌려 숫자를 보내면 결과에 더한다고도 밝혔습니다.

The code is MIT-licensed, and the llama.cpp patches are derivatives of llama.cpp, which is also MIT. Model weights keep their own licenses, and the evaluation texts are Wikipedia excerpts under CC BY-SA 4.0. The speed figures are the README's own measurements on three devices, and single-board computers, routers and more phones are listed as devices still to come.코드는 MIT이고, llama.cpp 패치는 MIT인 llama.cpp에서 나온 것입니다. 모델 가중치는 각자의 라이선스를 따르고, 평가용 글은 CC BY-SA 4.0인 Wikipedia 발췌입니다. 속도 수치는 README가 세 기기에서 잰 값이고, 단일 보드 컴퓨터와 라우터, 다른 휴대폰은 앞으로 더할 기기로 적혀 있습니다.

All algoit posts알고IT 글 목록

Follow algoit on알고IT 팔로우하기X Instagram Threads