1. LiveKit Agents Código Abierto (Apache 2.0)

LiveKit Agents es un entorno de ejecución de código abierto de grado de producción para construir agentes de IA de voz y multimodales en tiempo real. Depende de WebRTC para la comunicación de baja latencia.

• Las versiones recientes incluyen controles más sofisticados de interrupción y toma de turnos, pero el comportamiento real depende del VAD, modelo y transporte configurados.
• Soporte nativo de MCP (Model Context Protocol) para conectar agentes a herramientas y bases de datos externas.
• Soporte nativo SIP/telefonía para manejar llamadas telefónicas entrantes y salientes sin puentes externos.
• Pipelines multimodales (procesamiento de audio, video, pantalla compartida simultáneamente).

Implementación: Se factura en función de los minutos de conexión WebRTC y el uso de inferencia si se utiliza LiveKit Cloud; es gratis si se aloja de forma independiente (self-hosted) en tu propio clúster de Kubernetes.

Esqueleto de Código Python Simplificado:

from livekit.agents import Agent, AgentSession, RoomInputOptions
from livekit.agents.llm import ChatContext
from livekit.plugins import deepgram, openai, cartesia

class VoiceAgent(Agent):
    def __init__(self):
        super().__init__(
            instructions="You are a helpful voice assistant.",
            stt=deepgram.STT(model="nova-3"),
            llm=openai.LLM(model="gpt-4o"),
            tts=cartesia.TTS(model="sonic-3"),
        )

    async def on_enter(self):
        self.session.generate_reply()

async def entrypoint(ctx):
    session = AgentSession()
    await session.start(
        agent=VoiceAgent(),
        room=ctx.room,
        room_input_options=RoomInputOptions(),
    )

2. Pipecat Código Abierto (BSD)

Pipecat (por Daily.co) es un framework de Python de código abierto que utiliza una arquitectura de pipeline basada en frames donde los paquetes de datos (audio, texto, señales de control) fluyen a través de una serie de procesadores componibles.

• Componibilidad Basada en Frames: Encadena, bifurca y compone procesadores libremente.
• Neutral respecto al Transporte: Ejecuta el mismo agente de voz a través de WebRTC, WebSockets o SIP/PSTN.
• Flujos de Pipecat (Pipecat Flows): Administra rutas de conversación estructuradas y con estado para mejorar la precisión.
• Soporte Multi-agente: Agentes paralelos ejecutándose en un bus de comunicación compartido con traspasos de tareas.

Implementación: Gratis para self-host. Se aplican cargos por uso si se implementa a través de Daily.co o Pipecat Cloud.

Ilustración de Configuración de Pipeline Simplificada:

import asyncio
from pipecat.pipeline.pipeline import Pipeline
from pipecat.services.deepgram import DeepgramSTTService
from pipecat.services.openai import OpenAILLMService
from pipecat.services.cartesia import CartesiaTTSService
from pipecat.transports.services.daily import DailyTransport

async def main():
    transport = DailyTransport(room_url="https://your-domain.daily.co/room")
    stt = DeepgramSTTService(api_key="...")
    llm = OpenAILLMService(model="gpt-4o")
    tts = CartesiaTTSService(voice_id="...")

    pipeline = Pipeline([
        transport.input(),   # Audio frames from user
        stt,                 # Speech → Text
        llm,                 # Text → LLM
        tts,                 # LLM response → Audio
        transport.output(),  # Audio to user
    ])

    await pipeline.run()

asyncio.run(main())

3. VAPI Plataforma Administrada

VAPI es una plataforma que prioriza la API y abstrae la infraestructura subyacente, proporcionando herramientas visuales para construir, probar y escalar asistentes de IA de voz.

• Constructores visuales de flujo de conversación basados en nodos con enrutamiento condicional.
• Orquestador de "Escuadrones" (Squads) para enrutar llamadas dinámicamente entre diferentes agentes de IA especializados.
• Widgets de voz/chat integrables para aplicaciones móviles y navegadores web.
• Integración directa con Twilio para enrutamiento PSTN.

Las opciones de cumplimiento empresarial pueden estar disponibles dependiendo del plan y la implementación. Verifica la cobertura actual de HIPAA/BAA antes de usarlo para cargas de trabajo reguladas.

Precios: Las tarifas de la plataforma suelen comenzar alrededor de $0.05/min, excluyendo el modelo subyacente, la telefonía y las tarifas de uso de voces premium.

4. Retell AI Plataforma Gestionada

Retell AI es una plataforma conversacional centrada en el desarrollador, optimizada principalmente para interacciones telefónicas de alto rendimiento y agentes de programación.

• Integración orientada primero a la telefonía con SIP bridging automático y aprovisionamiento de números.
• Diseñada para conversaciones telefónicas de baja latencia y toma de turnos con reconocimiento de interrupciones.
• Transferencias de llamadas dinámicas y tool-calling de bases de datos en vivo durante llamadas en curso.

Precios: Las tarifas de infraestructura suelen comenzar alrededor de $0.07/min, con costos totales que escalan dependiendo del LLM seleccionado, la ruta de telefonía y las voces TTS.

5. Bland AI Plataforma Empresarial

Bland AI está posicionada para la automatización de llamadas telefónicas entrantes y salientes de gran volumen a escala empresarial. Se destaca en el manejo de llamadas de larga duración y árboles de lógica complejos.

• Rutas Conversacionales: Editor visual de grafos para flujos de llamadas complejos con ramificación condicional.
• Barreras de Cumplimiento: Monitoreo programático en tiempo real de infracciones a políticas regulatorias (por ejemplo, cumplimiento de TCPA).
• Integraciones directas con CRM y herramientas de programación como Salesforce y Cal.com.
• Entornos de servidores/GPU dedicados para aislamiento de grandes empresas.

6. OpenAI Realtime API API de Modelo (S2S)

La Realtime API de OpenAI proporciona interacción bidireccional voz a voz de baja latencia utilizando WebSockets o WebRTC.

• Omite completamente el pipeline en cascada para lograr una prosodia natural y de baja latencia.
• Soporta tool/function calling nativo e interrupciones de transmisión directamente dentro de la señal de audio.
• Los nombres y capacidades de los modelos en tiempo real actuales cambian con frecuencia. Verifique la documentación oficial de la API para conocer los modelos disponibles, precios, modalidades de audio, tool calling y comportamiento de razonamiento.

Precios: Facturado por millón de tokens de entrada/salida de audio (típicamente $32/1M tokens de entrada y $64/1M tokens de salida).

7. Gemini Live API de Modelo (S2S)

Gemini Live de Google (accesible a través de Vertex AI o Gemini API) aprovecha el procesamiento multimodal nativo para manejar razonamientos complejos a través de audio, video y texto.

Capacidades para Evaluar:

• Interacción de audio nativa con análisis de tono emocional.
• Soporte de entrada multimodal en audio, transmisiones de video y archivos de texto.
• Integración fluida con las herramientas de agentes de Vertex AI y anclaje en Google Search.
• Function calling y ejecución de herramientas en medio del flujo.
• Disponibilidad regional y niveles de precios específicos.

1. LiveKit Agents Open-Source (Apache 2.0)

LiveKit Agents ist eine produktionsreife Open-Source-Runtime zum Erstellen von echtzeitfähigen Voice- und multimodalen AI-Agenten. Sie stützt sich auf WebRTC für Kommunikation mit geringer Latenz.

• Neuere Versionen enthalten ausgefeiltere Steuerelemente für Unterbrechungen und Turn-Taking, das tatsächliche Verhalten hängt jedoch von dem konfigurierten VAD, Modell und Transport ab.
• Native MCP (Model Context Protocol) Unterstützung zur Verbindung von Agenten mit externen Tools und Datenbanken.
• Native SIP/Telefonie-Unterstützung zur Handhabung von ein- und ausgehenden Telefonanrufen ohne externe Brücken.
• Multimodale Pipelines (gleichzeitige Verarbeitung von Audio, Video, Screen-Shares).

Bereitstellung: Abgerechnet basierend auf WebRTC-Verbindungsminuten und Inferenznutzung bei Verwendung von LiveKit Cloud; kostenlos bei Self-Hosting auf Ihrem eigenen Kubernetes-Cluster.

Vereinfachtes Python Code-Skeleton:

from livekit.agents import Agent, AgentSession, RoomInputOptions
from livekit.agents.llm import ChatContext
from livekit.plugins import deepgram, openai, cartesia

class VoiceAgent(Agent):
    def __init__(self):
        super().__init__(
            instructions="You are a helpful voice assistant.",
            stt=deepgram.STT(model="nova-3"),
            llm=openai.LLM(model="gpt-4o"),
            tts=cartesia.TTS(model="sonic-3"),
        )

    async def on_enter(self):
        self.session.generate_reply()

async def entrypoint(ctx):
    session = AgentSession()
    await session.start(
        agent=VoiceAgent(),
        room=ctx.room,
        room_input_options=RoomInputOptions(),
    )

2. Pipecat Open-Source (BSD)

Pipecat (von Daily.co) ist ein Open-Source Python-Framework, das eine Frame-basierte Pipeline-Architektur verwendet, bei der Datenpakete (Audio, Text, Steuersignale) durch eine Reihe zusammensetzbarer Prozessoren fließen.

• Frame-basierte Zusammensetzbarkeit: Verketten, verzweigen und setzen Sie Prozessoren frei zusammen.
• Transportneutral: Führen Sie denselben Voice-Agenten über WebRTC, WebSockets oder SIP/PSTN aus.
• Pipecat Flows: Verwalten Sie strukturierte, zustandsbehaftete Konversationspfade für verbesserte Genauigkeit.
• Multi-Agent Unterstützung: Parallele Agenten, die auf einem gemeinsamen Kommunikationsbus mit Aufgabenübergaben laufen.

Bereitstellung: Kostenlos zum Self-Hosting. Bei Bereitstellung über Daily.co oder Pipecat Cloud fallen Nutzungsgebühren an.

Vereinfachte Darstellung des Pipeline-Setups:

import asyncio
from pipecat.pipeline.pipeline import Pipeline
from pipecat.services.deepgram import DeepgramSTTService
from pipecat.services.openai import OpenAILLMService
from pipecat.services.cartesia import CartesiaTTSService
from pipecat.transports.services.daily import DailyTransport

async def main():
    transport = DailyTransport(room_url="https://your-domain.daily.co/room")
    stt = DeepgramSTTService(api_key="...")
    llm = OpenAILLMService(model="gpt-4o")
    tts = CartesiaTTSService(voice_id="...")

    pipeline = Pipeline([
        transport.input(),   # Audio frames from user
        stt,                 # Speech → Text
        llm,                 # Text → LLM
        tts,                 # LLM response → Audio
        transport.output(),  # Audio to user
    ])

    await pipeline.run()

asyncio.run(main())

3. VAPI Managed Platform

VAPI ist eine API-First-Plattform, die die zugrunde liegende Infrastruktur abstrahiert und visuelle Tools zum Erstellen, Testen und Skalieren von Voice AI-Assistenten bereitstellt.

• Knotenbasierte visuelle Konversationsfluss-Builder mit bedingtem Routing.
• "Squads" Orchestrator zum dynamischen Routing von Anrufen zwischen verschiedenen spezialisierten AI-Agenten.
• Einbettbare Sprach-/Chat-Widgets für mobile Apps und Webbrowser.
• Direkte Twilio-Integration für PSTN-Routing.

Enterprise Compliance-Optionen können je nach Plan und Bereitstellung verfügbar sein. Überprüfen Sie die aktuelle HIPAA/BAA-Abdeckung, bevor Sie sie für regulierte Workloads verwenden.

Preise: Plattformgebühren beginnen typischerweise bei etwa 0,05 $/Min., ausgenommen zugrunde liegende Modell-, Telefonie- und Premium-Sprachnutzungsgebühren.

4. Retell AI Verwaltete Plattform

Retell AI ist eine entwicklerzentrierte Konversationsplattform, die in erster Linie für hochleistungsfähige Telefoninteraktionen und Terminplanungsagenten optimiert ist.

• Telephony-First-Integration mit automatischem SIP-Bridging und Nummernvergabe.
• Entwickelt für Telefongespräche mit geringer Latenz und unterbrechungsbewusstem Turn-Taking.
• Dynamische Anrufweiterleitungen und Live-Datenbank-Tool-Calling während laufender Anrufe.

Preise: Die Infrastrukturgebühren beginnen typischerweise bei etwa $0,07/Min., wobei die Gesamtkosten je nach ausgewähltem LLM, Telefonie-Route und TTS-Stimmen skalieren.

5. Bland AI Enterprise-Plattform

Bland AI ist für hochvolumige Outbound- und Inbound-Telefonautomatisierung auf Enterprise-Ebene positioniert. Es zeichnet sich durch die Handhabung langer Anrufe und komplexe Logikbäume aus.

• Konversationspfade: Visueller Grapheditor für komplexe Anrufabläufe mit bedingter Verzweigung.
• Compliance-Leitplanken: Programmatische Echtzeitüberwachung von Verstößen gegen regulatorische Richtlinien (z. B. TCPA-Compliance).
• Direkte Integrationen mit CRM- und Terminplanungstools wie Salesforce und Cal.com.
• Dedizierte GPU-/Serverumgebungen zur Isolation von Großunternehmen.

6. OpenAI Realtime API Modell-API (S2S)

Die Realtime API von OpenAI bietet eine bidirektionale Speech-to-Speech-Interaktion mit geringer Latenz unter Verwendung von WebSockets oder WebRTC.

• Umgeht die kaskadierte Pipeline vollständig, um eine natürliche Prosodie mit geringer Latenz zu erreichen.
• Unterstützt natives Tool-/Function Calling und Streaming-Unterbrechungen direkt innerhalb des Audio-Feeds.
• Aktuelle Echtzeit-Modellnamen und -funktionen ändern sich häufig. Überprüfen Sie die offizielle API-Dokumentation auf verfügbare Modelle, Preise, Audiomodalitäten, Tool Calling und Reasoning-Verhalten.

Preise: Abgerechnet pro Million Audio-Eingabe-/Ausgabe-Token (typischerweise $32/1M Eingabe-Token und $64/1M Ausgabe-Token).

7. Gemini Live Modell-API (S2S)

Googles Gemini Live (Zugriff über Vertex AI oder Gemini API) nutzt natives multimodales Processing, um komplexes Reasoning über Audio, Video und Text hinweg zu bewältigen.

Zu evaluierende Fähigkeiten:

• Native Audio-Interaktion mit Analyse des emotionalen Tons.
• Multimodale Eingabeunterstützung über Audio, Video-Feeds und Textdateien hinweg.
• Nahtlose Integration mit Vertex AI Agent-Tooling und Google Search Grounding.
• Function Calling und Tool-Ausführung Mid-Stream.
• Regionale Verfügbarkeit und spezifische Preisstufen.

1. LiveKit Agents オープンソース (Apache 2.0)

LiveKit Agentsは、リアルタイムの音声およびマルチモーダルAIエージェントを構築するための本番環境レベルのオープンソースランタイムです。低遅延の通信にWebRTCを利用しています。

• 最近のリリースでは、より洗練された割り込みとターンテイキングの制御が含まれていますが、実際の動作は設定されたVAD、モデル、およびトランスポートに依存します。
• エージェントを外部ツールやデータベースに接続するためのネイティブのMCP（Model Context Protocol）サポート。
• 外部ブリッジなしで着信および発信の電話を処理するためのネイティブのSIP/テレフォニーサポート。
• マルチモーダルパイプライン（音声、動画、画面共有の同時処理）。

デプロイ：LiveKit Cloudを利用する場合はWebRTCの接続分数と推論の使用量に基づいて課金されます。独自のKubernetesクラスターでセルフホストする場合は無料で実行できます。

簡略化されたPythonコードスケルトン：

from livekit.agents import Agent, AgentSession, RoomInputOptions
from livekit.agents.llm import ChatContext
from livekit.plugins import deepgram, openai, cartesia

class VoiceAgent(Agent):
    def __init__(self):
        super().__init__(
            instructions="You are a helpful voice assistant.",
            stt=deepgram.STT(model="nova-3"),
            llm=openai.LLM(model="gpt-4o"),
            tts=cartesia.TTS(model="sonic-3"),
        )

    async def on_enter(self):
        self.session.generate_reply()

async def entrypoint(ctx):
    session = AgentSession()
    await session.start(
        agent=VoiceAgent(),
        room=ctx.room,
        room_input_options=RoomInputOptions(),
    )

2. Pipecat オープンソース (BSD)

Pipecat (Daily.co製) は、一連の構成可能なプロセッサを通じてデータパッケージ（音声、テキスト、制御信号）が流れるフレームベースのパイプラインアーキテクチャを使用するオープンソースのPythonフレームワークです。

• フレームベースの構成可能性： プロセッサを自由にチェーン、フォーク、構成できます。
• トランスポート中立： 同じ音声エージェントをWebRTC、WebSocket、またはSIP/PSTN経由で実行できます。
• Pipecat Flows： 精度向上のために、構造化された状態を持つ会話パスを管理します。
• マルチエージェントサポート： タスクのハンドオフを伴い、共有通信バス上で実行される並列エージェント。

デプロイ：セルフホストは無料。Daily.coまたはPipecat Cloud経由でデプロイする場合は使用料金が適用されます。

簡略化されたパイプライン設定のイラスト：

import asyncio
from pipecat.pipeline.pipeline import Pipeline
from pipecat.services.deepgram import DeepgramSTTService
from pipecat.services.openai import OpenAILLMService
from pipecat.services.cartesia import CartesiaTTSService
from pipecat.transports.services.daily import DailyTransport

async def main():
    transport = DailyTransport(room_url="https://your-domain.daily.co/room")
    stt = DeepgramSTTService(api_key="...")
    llm = OpenAILLMService(model="gpt-4o")
    tts = CartesiaTTSService(voice_id="...")

    pipeline = Pipeline([
        transport.input(),   # Audio frames from user
        stt,                 # Speech → Text
        llm,                 # Text → LLM
        tts,                 # LLM response → Audio
        transport.output(),  # Audio to user
    ])

    await pipeline.run()

asyncio.run(main())

3. VAPI マネージドプラットフォーム

VAPIは、基盤となるインフラストラクチャを抽象化し、音声AIアシスタントの構築、テスト、拡張のためのビジュアルツールを提供するAPIファーストのプラットフォームです。

• 条件付きルーティングを備えたノードベースのビジュアル会話フロービルダー。
• 異なる専門AIエージェント間で動的に通話をルーティングするための「Squads」オーケストレーター。
• モバイルアプリやウェブブラウザ用の埋め込み可能な音声/チャットウィジェット。
• PSTNルーティングのための直接的なTwilio統合。

エンタープライズコンプライアンスオプションは、プランとデプロイメントに応じて利用可能な場合があります。規制対象のワークロードに使用する前に、現在のHIPAA/BAAカバレッジを確認してください。

価格：プラットフォーム料金は通常約$0.05/分から始まります。基盤となるモデル、テレフォニー、プレミアム音声の使用料金は含まれません。

4. Retell AI マネージドプラットフォーム

Retell AIは、主に高性能な電話対応やスケジューリングエージェント向けに最適化された、開発者中心の対話型プラットフォームです。

• 自動SIPブリッジングと番号プロビジョニングを備えた、テレフォニーファーストなインテグレーション。
• 低レイテンシの電話会話と、割り込みを考慮した自然な対話（ターンテイキング）向けに設計されています。
• 通話継続中の動的な通話転送と、ライブデータベースへのツール呼び出し（tool-calling）。

価格: インフラストラクチャの基本料金は通常$0.07/分程度から始まり、選択したLLM、テレフォニールート、TTS音声によって総コストは変動します。

5. Bland AI エンタープライズプラットフォーム

Bland AIは、エンタープライズ規模の大量のアウトバウンドおよびインバウンド電話自動化に位置付けられています。長時間の通話処理と複雑なロジックツリーに優れています。

• Conversational Pathways: 条件分岐を伴う複雑なコールフローのためのビジュアルグラフエディタ。
• Compliance Guard Rails: 規制ポリシー違反（TCPAコンプライアンスなど）をプログラムでリアルタイムに監視。
• SalesforceやCal.comなどのCRMやスケジューリングツールとの直接連携。
• 大規模なエンタープライズの分離環境向けに専用のGPU/サーバー環境を提供。

6. OpenAI Realtime API Model API (S2S)

OpenAIのRealtime APIは、WebSocketsまたはWebRTCを使用して、低遅延で双方向の音声対音声（speech-to-speech）インタラクションを提供します。

• カスケードパイプラインを完全にバイパスし、自然で低遅延なプロソディ（韻律）を実現します。
• オーディオフィード内で直接、ネイティブなツール/関数呼び出し（tool/function calling）およびストリーミングの割り込みをサポートします。
• 現在のリアルタイムモデルの名前と機能は頻繁に変更されます。利用可能なモデル、価格、オーディオモダリティ、ツール呼び出し、推論の挙動については、公式APIドキュメントを確認してください。

価格: 100万オーディオ入出力トークンごとに課金されます（通常、100万入力トークンで$32、100万出力トークンで$64）。

7. Gemini Live Model API (S2S)

GoogleのGemini Live（Vertex AIまたはGemini API経由でアクセス）は、ネイティブなマルチモーダル処理を活用して、オーディオ、ビデオ、テキスト全体で複雑な推論を処理します。

評価すべき機能:

• 感情のトーン解析を伴うネイティブな音声対話。
• オーディオ、ビデオフィード、テキストファイルにわたるマルチモーダル入力のサポート。
• Vertex AIエージェントツールおよびGoogle Searchグラウンディングとのシームレスな統合。
• ストリームの途中での関数呼び出し（Function calling）とツールの実行。
• 地域ごとの可用性と特定の価格帯。