AI Infrastructure

Cerebrium

Cerebriumは、serverless CPU/GPU、memory snapshot、autoscalingを組み合わせ、real-time AIアプリケーションのdeployと運用を簡単にするAI infrastructure platform。

US · 2021 年 · 出典 15

#Developer Tool#YC#Serverless GPU

AI Infrastructure

Milvus

Milvusは、GenAIアプリケーション向けのopen-source vector database。ローカルのPython libraryからKubernetes上の分散構成まで、embeddingを使ったsimilarity searchとfull-text/hybrid searchを支える。

US · 2019 年 · 出典 12

#Developer Tool#RAG#Open Source

AI Infrastructure

Qdrant

Qdrantは、非構造データ向けのvector searchとsemantic searchを提供するRust製OSSエンジン。self-hosted databaseとmanaged cloudでAIアプリのretrieval基盤を支える。

DE · 2021 年 · 出典 20

#AI infrastructure#Open Source#rust

AI Infrastructure

LiteLLM

LiteLLMは、複数のLLM providerをOpenAI互換の入力形式で呼び出し、proxy・routing・observabilityを一つのgatewayにまとめるOSS基盤。

United States · 2023 年 · 出典 11

#AI infrastructure#Open Source#Developer Tools

AI Infrastructure

Open WebUI

複数のAI model providerを一つのinterfaceで扱い、local・cloud・offline環境へ展開できるself-hosted AI platform。

Global · 出典 18

#Open Source#AI#llm

AI Infrastructure

BentoML

PythonでAI modelのinference APIを組み立て、BentoCloudや自前環境へdeployできるOSS serving frameworkとinference platform。

Global · 2019 年 · 出典 17

#MLOps#AI infrastructure#Open Source

AI Infrastructure

Humanloop

企業がLLMアプリケーションを開発・評価・観測するためのenterprise向けLLM evals platform。prompt、dataset、evaluatorのversion管理とhuman reviewを一つのworkflowへまとめる。

US · 2020 年 · 出典 13

#Acquired#enterprise#AI

AI Infrastructure

Together AI

Together AIは、open-source AIモデルの推論・fine-tuning・GPU computeを一つのAI Native Cloudで提供するAI infrastructure platform。モデル選択からkernel最適化、production inferenceまでを垂直に組み合わせる。

US · 2022 年 · 出典 12

#Developer Tool#AI infrastructure#GPU

AI Infrastructure

Fermyon

Fermyonは、WebAssemblyコンポーネントをクラウドへデプロイするためのSpinとFermyon Cloudを提供する開発者向けプラットフォーム。

United States · 2021 年 · 出典 13

#WebAssembly#Open Source#serverless

AI Infrastructure

AssemblyAI

音声データをSpeech-to-Text、Speech Understanding、Voice AI APIへ変換するdeveloper platform。高精度な音声認識モデルと従量課金APIを組み合わせ、会議・コールセンター・音声エージェントの開発を支える。

United States · 2019 年 · 出典 12

#Audio API#AI infrastructure#Developer Tools

AI Infrastructure

Vapi

開発者が音声AIエージェントを構築・運用するためのAPIプラットフォーム。音声認識、LLM、音声合成、通話制御を組み合わせ、voice agentの実装と運用の複雑さを抽象化する。

United States · 2020 年 · 出典 10

#developer API#Voice AI#telephony

AI Infrastructure

Fireworks AI

オープンモデルの推論・fine-tuning・評価をAPIとして提供し、AIプロダクトの本番運用を短縮するAI infrastructure。

United States · 2022 年 · 出典 16

#AI#Fine-tuning#llm

AI Infrastructure

Weights & Biases

AI/MLチームが実験、データ、モデル、評価結果を一つのworkflowで追跡・共有するMLOps platform。

United States · 2017 年 · 出典 12

#MLOps#AI#Developer Tools

AI Infrastructure

Qovery

自社Cloud上のKubernetes運用を、Terraform・CLI・MCP・AI Skillで簡単にするagentic infrastructure platform。

France · 2020 年 · 出典 12

#Kubernetes#AI infrastructure#Developer Tools

AI Infrastructure

LiveKit

WebRTCを中核に、音声・動画・物理AIエージェントを構築、デプロイ、監視するためのOSS frameworkとdeveloper platform。

US · 2021 年 · 出典 12

#Open Source#WebRTC#AI

AI Infrastructure

Firecrawl

FirecrawlはWebをAI-nativeなcontextへ変換するAPI。Search、Scrape、Crawl、Interactを通じて、JavaScriptで動くページをclean Markdownやstructured dataとしてAI agentやRAG pipelineへ渡せる。

United States · 2022 年 · 出典 11

#Open Source#Web Data#AI

AI Infrastructure

Pinecone

AIアプリケーションに高速なvector searchを組み込むmanaged vector database。RAGやsemantic searchのためのindex、query、metadata filteringをserverlessで提供する。

United States · 2019 年 · 出典 14

#Developer Tool#RAG#AI

AI Infrastructure

Koyeb

CPU、GPU、acceleratorを使うAI inferenceやserverless applicationを、globalにdeploy・autoscaleするdeveloper-friendlyなcloud platform。

France · 2021 年 · 出典 15

#GPU#AI#serverless

AI Infrastructure

Mistral AI

フランス発のAI企業。オープンウェイトモデルと商用APIを組み合わせ、開発者がモデルを自社環境やクラウドで使い分けられる基盤を提供する。

France · 2023 年 · 出典 15

#Open Source#AI#Bootstrapped

AI Infrastructure

Replicate

ML model API。Cloudflare acquisition Nov 2025。

US · 2019 年 · 出典 20

#AI#ml

AI Infrastructure

Lambda

Lambdaは、AIのtraining・fine-tuning・inference向けにGPU instances、1-Click Clusters、single-tenant Superclustersを提供する米国のAI compute platform。1 GPUのself-serve利用から大規模な専有clusterまで、NVIDIA GPUと高速network、managed orchestrationを一つの調達・運用面にまとめる。

United States · 2012 年 · 出典 15

#AI infrastructure#GPU Cloud#Cloud Computing

AI Infrastructure

Runpod

AI/ML向けGPU cloud。開発・training・fine-tuning向けのPods、API inference向けのServerless、分散学習・大規模推論向けのInstant Clustersを同一platformで提供する。

United States · 2021 年 · 出典 15

#GPU#AI#cloud

AI Infrastructure

Baseten

独自・OSS AIモデルを高速かつ高可用に本番推論へ載せる、trainingとinferenceのplatform。Truss、専用runtime、multi-cloud capacity、autoscalingを通じて、モデル運用をAPI endpointとして提供する。

United States · 2019 年 · 出典 18

#MLOps#Open Source#GPU