16x GB10 클러스터에서 Kimi K3 풀 모델이 평균 20tps 이상, 최대 38tps, 750tps의 프리필 속도로 구동되는 첫 테스트가 진행되었습니다. 작성자는 속도 최적화를 위한 추가 테스트를 거친 후 vllm 이미지와 사용 방법을 공개할 예정입니다.
Unsloth의 Daniel Han은 새로운 Qwen3.8-27B 모델이 단 17GB의 VRAM만으로도 실행될 수 있다고 검증했습니다. 작성자는 이번 27B 모델 출시 소식에 매우 기대감을 표하며 다른 사용자들의 반응을 묻고 있습니다.
Alibaba_Qwen 공식 X 계정을 통해 Qwen3.8-27B 모델이 Qwen3.8-Max와 함께 발표되었다. 해당 소식은 Reddit r/LocalLLaMA 커뮤니티에 공유되며 로컬 LLM 사용자들의 관심을 끌고 있다.
오픈 웨이트 모델들이 끊임없이 출시되는 상황을 회전목마에 비유하며 로컬 LLM 커뮤니티의 반응을 다루고 있습니다. 새로운 모델이 계속해서 등장하면서 사용자들의 선택과 테스트가 반복되는 현상을 보여줍니다.
Reddit r/LocalLLaMA 커뮤니티에 Kimi K3 모델의 가중치가 드디어 공개되었다는 소식이 전해졌습니다. 이에 따라 로컬 환경에서 Kimi K3 모델을 활용하려는 사용자들의 관심이 집중될 것으로 보입니다.
허깅페이스 CEO는 오픈AI에 연구 커뮤니티가 사건을 연구할 수 있도록 'rogue' 에이전트의 추적 기록을 공개할 것을 요구했다. 또한 최초의 자율 에이전트 사이버 공격에 대응하기 위해 오픈AI가 1억 달러의 컴퓨팅 자원을 지원해 허깅페이스 커뮤니티가 강력한 사이버 방어를 구축하도록 제안했다.
구글이 오픈웨이트(OpenWeight) 모델을 지지하는 입장을 표명했습니다. 이에 따라 모든 주요 빅테크 기업들이 앤스로픽(Anthropic)과 대립하는 구도가 형성된 것으로 보입니다.
Microsoft, Meta, Nvidia, YC 등 20개 이상의 기업들이 청원에 서명하고 Elon Musk가 이에 동조하면서 오픈소스 AI 지지 입장을 표명했다. LLM 애호가 시장 역시 오픈소스 AI를 강력히 지지하고 있어 소수의 폐쇄형 AI 로비스트들이 이를 불법화하기는 어려울 것으로 보인다.
Microsoft가 주도한 공개 서한에서 NVIDIA, Meta 등 20개 이상의 기업들이 오픈 웨이트 모델에 대한 조급한 규제를 피해야 한다고 정책 입안자들에게 촉구했다. 이 서한은 합법적인 모델 증류와 부당한 전용을 구분해야 한다고 강조하며, OpenAI, Anthropic, Google은 서명에서 배제되었다.
이 게시글은 정치인들을 위해 LLM 증류 과정을 단순화하여 설명하는 내용을 다루고 있습니다. 원문에 포함된 '/s' 표기는 해당 글이 풍자적인 의도로 작성되었음을 명확히 나타냅니다.
