OHREN_Lab

Open source오픈소스StrataStrata

Strata, an open-source app that runs models like Qwen3.8-Flash-Next on consumer graphics cards and serves local APIsStrata, 일반 그래픽카드로 Qwen3.8-Flash-Next 같은 모델을 돌리고 로컬 API를 내주는 오픈소스 앱

An installer and its own engine run models on your PC and serve OpenAI- and Anthropic-compatible APIs on localhost. The program is MIT, model files keep their own licenses, and in the project's own measurements of 0.2.12, JSON extraction with UD-IQ4_XS-v31 on an RTX 3060 12 GB fell 18.9%.설치 프로그램과 자체 엔진으로 모델을 PC에서 돌리고 OpenAI 및 Anthropic 호환 API를 localhost에서 제공합니다. 프로그램은 MIT이고 모델 파일은 각자의 라이선스를 따르며, 프로젝트가 잰 값으로 0.2.12의 RTX 3060 12GB UD-IQ4_XS-v31은 JSON 추출 속도가 18.9% 줄었습니다.

Checked확인일

Strata is an app for running AI models like Qwen3.8-Flash-Next on consumer hardware, combining an installer, its own inference engine and OpenAI- and Anthropic-compatible APIs on localhost. It needs no account, and image input is optional. The project's docs explain that models like this normally run on servers with hundreds of gigabytes of graphics memory, and that Strata makes them fit a 12-24 GB graphics card by sharing the work across the graphics card, RAM and SSD. The README lists Qwen3.8-Flash-Next, Qwen3.6-35B-A3B and DeepSeekV4.1-Flash-1017 as models.Strata는 Qwen3.8-Flash-Next 같은 AI 모델을 일반 소비자용 하드웨어에서 돌리도록 만든 앱으로, 설치 프로그램과 자체 추론 엔진, localhost에서 쓰는 OpenAI 및 Anthropic 호환 API를 함께 제공합니다. 계정 없이 쓸 수 있고 이미지 입력은 선택 기능입니다. 프로젝트 문서는 이런 모델이 보통 수백 GB의 그래픽 메모리를 갖춘 서버에서 돌지만, Strata는 작업을 그래픽카드, RAM, SSD에 나눠 12~24GB 그래픽카드에 맞춘다고 설명합니다. README는 Qwen3.8-Flash-Next, Qwen3.6-35B-A3B, DeepSeekV4.1-Flash-1017을 모델로 안내합니다.

The desktop app puts chat, files and a live preview in one window. The terminal app runs through strata launch, which follows prompts to download and start a model, and it shows model and hardware activity while running. Tools such as Claude Code, OpenCode and Hermes Agent connect through the OpenAI- and Anthropic-compatible APIs, and strata connect shows the setup steps for each tool.데스크톱 앱은 채팅, 파일, 실시간 미리보기를 한 창에 모았습니다. 터미널 앱은 strata launch를 실행해 안내에 따라 모델을 내려받아 시작하며, 실행 중 모델과 하드웨어 상태를 보여 줍니다. OpenAI와 Anthropic 호환 API로 Claude Code, OpenCode, Hermes Agent 같은 도구에 연결할 수 있고, strata connect를 실행하면 도구별 설정 방법을 알려 줍니다.

Strata desktop app: a chat listing what was built in a workspace called pagoda-garden, beside a live preview of a voxel pagoda garden with a pond and trees on a dark background
Image: Strata repository.이미지: Strata 저장소. Copyright (c) 2026 Niko1221 and the Strata contributors · MIT License Open original원본 보기

In the project's own measurements of 0.2.12 against 0.2.11, the UD-IQ4_XS-v31 model file on an RTX 3060 12 GB read 2K prompts about 3 times faster, going from 87 to 264 tokens per second. On Strix Halo (Windows), prompts on UD-IQ4_XS-v31 and UD-Q4_K_XL ran 1.24 to 2.14 times as fast, and on a Mac M5 Max output rose 10.3% to 12.7% and prompts 11.7% to 13.9% on UD-Q4_K_XL and UD-IQ4_XS-v31, the project says.프로젝트가 0.2.11과 견주어 잰 0.2.12 결과로는 RTX 3060 12GB의 UD-IQ4_XS-v31 모델 파일에서 2K 프롬프트 읽기가 초당 87토큰에서 264토큰으로 약 3배가 됐습니다. Strix Halo(Windows)의 UD-IQ4_XS-v31과 UD-Q4_K_XL에서는 프롬프트 속도가 1.24~2.14배로, Mac M5 Max의 UD-Q4_K_XL과 UD-IQ4_XS-v31에서는 출력 속도가 10.3~12.7%, 프롬프트 속도가 11.7~13.9% 올랐다고 프로젝트는 밝혔습니다.

Installers for Windows, Linux and Mac are on the GitHub releases page. Install the app, choose a model, and on first start it downloads the engine for your graphics card. The terminal app installs on Linux and Mac with curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh, and in Windows PowerShell with irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex. Supported hardware is NVIDIA GeForce RTX 20, 30, 40 and 50 series, AMD Radeon RX 7700, 7800, 7900, RX 9060, 9070 and AI PRO R9700, Apple Silicon M1 or newer, AMD Ryzen AI Max (Strix Halo), Intel Arc on Linux and NVIDIA DGX Spark on Linux, with Radeon RX 6800 and 6900 experimental.Windows, Linux, Mac용 설치 프로그램은 GitHub 릴리스 페이지에서 받습니다. 앱을 설치하고 모델을 고르면 되고, 첫 실행 때 그래픽카드에 맞는 엔진을 내려받습니다. 터미널 앱은 Linux와 Mac에서 curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh, Windows PowerShell에서 irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex로 설치합니다. 지원 하드웨어는 NVIDIA GeForce RTX 20, 30, 40, 50 시리즈, AMD Radeon RX 7700, 7800, 7900과 RX 9060, 9070, AI PRO R9700, Apple Silicon M1 이상, AMD Ryzen AI Max(Strix Halo), Intel Arc(Linux), NVIDIA DGX Spark(Linux)이고 Radeon RX 6800, 6900은 실험 지원입니다.

In the project's own measurements, some setups lost speed in the same 0.2.12. On an RTX 3060 12 GB, UD-IQ4_XS-v31 JSON extraction fell 18.9%. Strix Halo tool calls fell 9.5% on UD-IQ4_XS-v31 and 5.8% on UD-Q4_K_XL, and Radeon R9700 on IQ3_S fell 10.5% for code and 9.3% for tool calls. The release notes warn that peer mode with two graphics cards can fault on its first request in about 4% of fresh starts. The MIT license applies to the program. Models are not part of the repository, and each model's own license applies to its files. third_party/ggml, the web app's font and the vector in data/experimental-speed-projection (Qwen Community License 1.0) also carry their own licenses. Model files are large: the DeepSeekV4.1-Flash-1017 ISTA-DAS sets download 191 GB to 274 GB.프로젝트가 잰 값으로는 같은 0.2.12에서 속도가 떨어진 설정도 있습니다. RTX 3060 12GB의 UD-IQ4_XS-v31은 JSON 추출이 18.9%, Strix Halo는 도구 호출이 UD-IQ4_XS-v31에서 9.5%, UD-Q4_K_XL에서 5.8% 줄었고, Radeon R9700의 IQ3_S는 코드가 10.5%, 도구 호출이 9.3% 줄었습니다. 릴리스 노트는 그래픽카드 두 장을 쓰는 peer 모드가 새로 시작할 때 약 4%의 경우 첫 요청에서 오류가 날 수 있다고 알립니다. MIT 라이선스는 프로그램에 적용되며, 모델은 저장소에 없고 각 모델 파일의 라이선스를 따릅니다. third_party/ggml, 웹 앱 글꼴, data/experimental-speed-projection의 벡터(Qwen Community License 1.0)도 각자의 라이선스를 따릅니다. 모델 파일은 용량이 커서 DeepSeekV4.1-Flash-1017의 ISTA-DAS 세트는 191~274GB를 내려받습니다.

All algoit posts알고IT 글 목록

Follow algoit on알고IT 팔로우하기X Instagram Threads