기사 제공처 : 개미신문 / 등록기자: 김태봉 [기자에게 문의하기]  0 /  

해당 기사에 관련하여 문의하기에 남겨주시면 "김태봉"기자에게 전송됩니다

 이름

 연락처

- -

 이메일

 확인

같은 모델을 Cyber Tier 호스팅 API로도 쓰고, Orca Connect로 로컬 API로 노출할 수 있어

컨티뉴엄 AI(CONTINUUM AI)가 개발한 OrcaRouter는 10월 31일 MiniMax M3.1 Flash의 무검열·어블리터레이션 GGUF를 공개했다고 밝혔다.

OrcaRouter는 426B MoE 모델을 112GB로 압축해 128GB 머신 한 대에서 로컬 추론이 가능하다고 설명했다. 또한 어블리터레이션으로 거부 반응을 줄이고 추론 능력은 대부분 유지했다고 덧붙였다.

무엇을 공개했나

OrcaRouter는 MiniMax M3.1 Flash의 무검열·어블리터레이션 GGUF를 공개했다. 원본은 426B 규모의 MoE 모델이다. 이를 112GB로 압축해 128GB 머신 한 대에서 로컬 추론이 가능하게 했다. GGUF는 llama.cpp 계열 런타임에서 읽는 형식이다.

얼마나 압축했나

압축의 핵심은 메모리다. 426B 모델을 112GB로 줄여 128GB 머신에 올렸다. OrcaRouter는 정밀도 최적화 GGUF를 적용했고, 양자화 전 추론 능력을 대부분 유지했다고 밝혔다. 어블리터레이션으로 거부 반응은 크게 줄었다. 무검열 모델인 만큼 거부 방향을 제거한 것이지 능력 경계가 없어진 것은 아니다.

무엇에 사용하나

OrcaRouter는 이 빌드를 AI 안전 연구, 레드팀, 보안 테스트에 활용할 수 있다고 말한다. 로컬에서 구동되므로 프롬프트와 응답이 자기 장비를 벗어나지 않는다. 같은 모델을 Cyber Tier 호스팅 API로도 제공하며, 그쪽은 전체 정밀도 버전이다. 호스팅 API는 262K 컨텍스트와 131K 출력, 100만 토큰당 입력 0.80달러·출력 1.60달러다.

호스팅 API와 로컬

로컬에서 돌리는 팀은 Orca Connect로 모델을 사설 API처럼 노출할 수 있다. 콘솔의 Connect에서 한 번 클릭하면 자기 모델이 OrcaRouter 카탈로그에 local/&rig&/&model& 형태로 올라가고, 같은 키로 부를 수 있다. 로컬이 답한 요청에는 요금이 붙지 않는다. GGUF 저장소는 Hugging Face에서 약관에 동의한 뒤 내려받는다.

어떻게 압축했나

OrcaRouter는 정밀도 최적화 GGUF를 적용해 426B MoE를 112GB로 줄였다. 어블리터레이션은 양자화 전에 적용됐고, 추론 능력은 대부분 유지됐다. GGUF는 llama.cpp 계열 런타임에서 읽는다. 같은 저장소에 양자화에 쓴 설정과 모델 카드가 함께 올라가 있다.

호스팅과 로컬의 차이

호스팅 API는 전체 정밀도 모델을 262K 컨텍스트로 제공하고, 로컬 GGUF는 112GB 모델을 자기 장비에서 돌린다. 로컬은 프롬프트가 밖으로 나가지 않지만 메모리와 실행 환경을 직접 준비해야 한다. 두 경로 모두 같은 무검열 가중치를 기반으로 한다.

가중치 접근

Hugging Face 저장소는 접근 승인을 거쳐야 한다. 약관에 동의하고 토큰을 설정한 뒤 내려받는다. 모델 카드에는 양자화 설정과 사용 조건이 함께 적혀 있다. 호스팅 API 쪽은 같은 모델의 전체 정밀도 버전을 제공하므로 로컬 실행 전에 API로 먼저 평가할 수도 있다.

한계

112GB는 모델이 차지하는 메모리고, 실제 실행에는 런타임과 컨텍스트를 위한 여유가 더 필요하다. 양자화된 빌드이므로 원본과 완전히 같은 출력을 보장하지 않는다. 어블리터레이션은 거부 방향을 제거한 것이지 안전 정렬 전체를 없앤 것이 아니다. 독립 기관이 성능을 다시 측정한 자료는 아직 없다.

주요 모델

OrcaRouter는 단일 API 키와 엔드포인트로 다음을 포함한 200개 이상의 모델을 제공한다.

· OrcaCyber MiniMax M3.1 Flash Abliterated
· OrcaCyber GLM-5.3 Flash Abliterated
· OrcaCyber Qwen3.8 Flash Next Abliterated
· OrcaCyber DeepSeek V4.1 Flash Abliterated
· OrcaCyber MiMo V2.6 Flash Abliterated
· OrcaCyber Zero 1.5
· Claude Opus 5.5

참고

· MiniMax M3.1 Flash 무검열 GGUF 저장소
· OrcaCyber MiniMax M3.1 Flash 모델 페이지
· Orca Connect 소개
· 요금 안내
· OrcaRouter 웹사이트

OrcaRouter 소개

OrcaRouter는 OpenAI 호환 LLM 게이트웨이로, 200개가 넘는 모델에 걸쳐 라우팅하며 약 40%의 비용 절감, 1밀리초 미만의 라우팅 오버헤드, 0%의 토큰 마크업을 제공한다. 자체 호스팅 에디션인 OrcaRouter-Lite는 MIT 라이선스로 제공된다.

CONTINUUM AI PTE. LTD. 소개

컨티뉴엄 AI(CONTINUUM AI)는 최첨단 AI를 개발자와 팀이 접근 가능하고 합리적인 비용으로 사용할 수 있도록 하기 위해 설립된 싱가포르 기반 기업이다. 단일 API 키와 엔드포인트를 통해 200개 이상의 선도적인 AI 모델에 대한 액세스를 제공하는 OpenAI 호환 AI Gateway인 OrcaRouter를 개발한 회사다. OrcaRouter는 약 40%의 비용 절감, 1ms 미만의 라우팅 오버헤드, 토큰 마크업 없음을 제공하며, MIT 라이선스로 출시된 자체 호스팅 버전(OrcaRouter-Lite)도 함께 제공한다.

웹사이트: https://www.orcarouter.ai