AI Infrastructure

BentoML

PythonでAI modelのinference APIを組み立て、BentoCloudや自前環境へdeployできるOSS serving frameworkとinference platform。

Global · 2019 年 · 出典 17

#MLOps#AI infrastructure#Open Source

AI Infrastructure

Together AI

Together AIは、open-source AIモデルの推論・fine-tuning・GPU computeを一つのAI Native Cloudで提供するAI infrastructure platform。モデル選択からkernel最適化、production inferenceまでを垂直に組み合わせる。

US · 2022 年 · 出典 12

#Developer Tool#AI infrastructure#GPU

AI Infrastructure

Fireworks AI

オープンモデルの推論・fine-tuning・評価をAPIとして提供し、AIプロダクトの本番運用を短縮するAI infrastructure。

United States · 2022 年 · 出典 16

#AI#Fine-tuning#llm

AI Agent Infrastructure

Modal

PythonからAI推論、学習、batch処理、sandboxをサーバーレスGPU基盤へデプロイするAI infrastructure platform。

United States · 2021 年 · 出典 11

#GPU#Sandbox#AI

AI Infrastructure

Baseten

独自・OSS AIモデルを高速かつ高可用に本番推論へ載せる、trainingとinferenceのplatform。Truss、専用runtime、multi-cloud capacity、autoscalingを通じて、モデル運用をAPI endpointとして提供する。

United States · 2019 年 · 出典 18

#MLOps#Open Source#GPU