Ollaya, 오픈 소스 결정 모델 로컬 실행 도구 공개
Ollaya가 LLM처럼 오픈 소스 결정 모델을 로컬에서 실행할 수 있는 도구를 공개했다. TypeSafe 호환 API를 지원하며 NVIDIA RTX 4090 기준 10ms 수준의 응답 속도를 제공한다.
JORE2
Ollaya가 LLM처럼 오픈 소스 결정 모델을 로컬에서 실행할 수 있는 도구를 공개했다. TypeSafe 호환 API를 지원하며 NVIDIA RTX 4090 기준 10ms 수준의 응답 속도를 제공한다.