Quer insights mais inteligentes em sua caixa de entrada? Inscreva -se para que nossos boletins semanais obtenham apenas o que importa para a IA, dados e líderes de segurança corporativos. Inscreva -se agora
TensorZeroum edifício inicial infraestrutura de código aberto para grandes aplicativos de modelos de idiomas, anunciou na segunda-feira que levantou US $ 7,3 milhões em financiamento de sementes liderado por Firstmarkcom participação de Bessemer Venture PartnersAssim, BedrockAssim, DrwAssim, Coalizãoe dezenas de investidores de anjos estratégicos.
O financiamento ocorre quando a empresa de 18 meses experimenta crescimento explosivo na comunidade de desenvolvedores. Tensorzero’s Repositório de código aberto Recentemente alcançou o “#1 Repositório de tendências da semana”Spot globalmente no Github, saltando de cerca de 3.000 para mais de 9.700 estrelas nos últimos meses, enquanto as empresas enfrentam a complexidade da construção de aplicativos de IA prontos para produção.
“Apesar de todo o barulho do setor, as empresas que construem aplicativos LLM ainda não possuem as ferramentas certas para atender às necessidades cognitivas e de infraestrutura complexas e recorrem a costurar quaisquer soluções iniciais disponíveis no mercado”, disse Matt Turck, parceiro geral da Firstmark, que liderou o investimento. “O Tensorzero fornece componentes de produção e preparação para a produção para a construção de aplicativos LLM que trabalham nativamente juntos em um loop auto-reforçador, fora da caixa”.
A empresa do Brooklyn aborda um ponto de dor crescente para as empresas que implantam aplicativos de IA em escala. Enquanto grandes modelos de linguagem gostam GPT-5 e Claude demonstraram recursos notáveis, traduzindo -os em aplicativos de negócios confiáveis, requer orquestrar vários sistemas complexos para acesso ao modelo, monitoramento, otimização e experimentação.
Ai escala atinge seus limites
Capitões de energia, custos crescentes de token e atrasos de inferência estão remodelando a IA corporativa. Junte -se ao nosso salão exclusivo para descobrir como são as principais equipes:
- Transformando energia em uma vantagem estratégica
- Arquitetagem Inferência eficiente para ganhos reais de rendimento
- Desbloqueando o ROI competitivo com sistemas de IA sustentáveis
Prenda seu lugar para ficar à frente:
Como a pesquisa de fusão nuclear moldou uma plataforma de otimização de IA inovadora
A abordagem de Tensorzero decorre do histórico não convencional do co-fundador e do CTO Viraj Mehta no aprendizado de reforço para reatores de fusão nuclear. Durante seu doutorado em Carnegie MellonMehta trabalhou em projetos de pesquisa do Departamento de Energia, onde o custo da coleta de dados “como um carro por ponto de dados – US $ 30.000 por 5 segundos de dados”, explicou ele em uma entrevista recente ao VentureBeat.
“Esse problema leva a uma enorme quantidade de preocupação com onde concentrar nossos recursos limitados”, disse Mehta. “Nós íamos executar apenas um punhado de testes no complete, então a pergunta se tornou: qual é o lugar marginalmente mais valioso do qual podemos coletar dados?” Essa experiência moldou a filosofia central da TensorZero: maximizando o valor de todos os dados para melhorar continuamente os sistemas de IA.
O perception levou Mehta e o co-fundador Gabriel Bianconi, ex-diretor de produtos da Ondo Finance (Um projeto financeiro descentralizado com mais de US $ 1 bilhão em ativos sob gestão), para reconceituar os aplicativos LLM como problemas de aprendizado de reforço, onde os sistemas aprendem com o suggestions do mundo actual.
“Os aplicativos LLM em seu contexto mais amplo parecem problemas de aprendizado de reforço”, explicou Mehta. “Você faz muitas chamadas para um modelo de aprendizado de máquina com entradas estruturadas, obtém saídas estruturadas e eventualmente recebe alguma forma de recompensa ou suggestions. Isso me parece um processo de decisão de Markov parcialmente observável”.
Por que as empresas estão abandonando integrações complexas de fornecedores para infraestrutura de IA unificada
As abordagens tradicionais para a criação de aplicativos LLM exigem que as empresas integrem inúmeras ferramentas especializadas de diferentes fornecedores-gateways de modelos, plataformas de observabilidade, estruturas de avaliação e serviços de ajuste fino. TensorZero unifica esses recursos em uma única pilha de código aberto projetado para trabalhar juntos sem problemas.
“A maioria das empresas não passou pelo aborrecimento de integrar todas essas ferramentas diferentes, e mesmo as que acabaram com soluções fragmentadas, porque essas ferramentas não foram projetadas para funcionar bem”, disse Bianconi. “Então percebemos que havia uma oportunidade de construir um produto que permite esse ciclo de suggestions na produção”.
A inovação principal da plataforma é criar o que os fundadores chamam de “Dados e Floras de Aprendizagem” – um ciclo de suggestions que transforma métricas de produção e suggestions humano em modelos mais inteligentes, mais rápidos e baratos. Construído em ferrugem para desempenho, o Tensorzero alcança a sobrecarga de latência sub-milissegundos, apoiando todos os principais fornecedores de LLM por meio de uma API unificado.
Os principais bancos e as startups de IA já estão construindo sistemas de produção no TensorZero
A abordagem já atraiu a adoção significativa da empresa. Um dos maiores bancos da Europa está usando o Tensorzero para automatizar a geração de Changelog, enquanto inúmeras startups da AI-primeiro da Série A à Série B integraram a plataforma em diversos setores, incluindo aplicativos de saúde, finanças e consumidores.
“O aumento na adoção da comunidade de código aberto e das empresas tem sido incrível”, disse Bianconi. “Temos a sorte de ter recebido contribuições de dezenas de desenvolvedores em todo o mundo, e é emocionante ver Tensorzero já alimentando aplicativos LLM de ponta nas startups de Frontier AI e grandes organizações”.
A base de clientes da empresa abrange organizações, desde startups até principais instituições financeiras, desenhadas pelas capacidades técnicas e pela natureza de código aberto da plataforma. Para empresas com requisitos rígidos de conformidade, a capacidade de executar o TensorZero em sua própria infraestrutura fornece controle essential sobre dados sensíveis.
Como o TensorZero supera Langchain e outras estruturas de IA em escala corporativa
TensorZero se diferencia de soluções existentes como Langchain e Litellm Através de sua abordagem de ponta a ponta e foco nas implantações de grau de produção. Enquanto muitas estruturas se destacam em prototipagem rápida, elas geralmente atingem tetos de escalabilidade que forçam as empresas a reconstruir sua infraestrutura.
“Há duas dimensões em que pensar”, explicou Bianconi. “Primeiro, existem vários projetos por aí que são muito bons para começar rapidamente, e você pode colocar um protótipo por aí muito rapidamente. Mas muitas vezes as empresas atingem um teto com muitos desses produtos e precisam agitar e optar por outra coisa”.
A abordagem estruturada da plataforma para a coleta de dados também permite técnicas de otimização mais sofisticadas. Diferentemente das ferramentas tradicionais de observabilidade que armazenam entradas e saídas de texto bruto, o Tensorzero mantém dados estruturados sobre as variáveis que entram em cada inferência, facilitando a treinar modelos e experimentar abordagens diferentes.
O desempenho movido a ferrugem oferece latência sub-movina a ten.000 consultas por segundo
O desempenho tem sido uma consideração importante do design. Nos benchmarks, o gateway baseado em ferrugem de Tensorzero adiciona menos de 1 milissegundo de latência no percentil 99, enquanto lida com mais de 10.000 consultas por segundo. Isso se compara favoravelmente às alternativas baseadas em Python, como o Litellm, que podem adicionar 25-100x a mais latência em níveis de rendimento muito mais baixos.
“Litellm (Python) a 100 QPS adiciona 25-100x+ mais latência P99 do que nosso gateway a ten.000 QPs”, observou os fundadores em seu anúncio, destacando as vantagens de desempenho de sua implementação de ferrugem.
A estratégia de código aberto projetado para eliminar os medos de bloqueio de fornecedores de IA
TensorZero se comprometeu a manter sua plataforma principal totalmente de código aberto, sem recursos pagos-uma estratégia projetada para criar confiança com clientes corporativos desconfiados de bloqueio de fornecedores. A empresa planeja monetizar através de um serviço gerenciado que automatiza os aspectos mais complexos da otimização de LLM, como gerenciamento de GPU para treinamento de modelos personalizados e recomendações de otimização proativa.
“Percebemos muito cedo que precisávamos fazer esse código aberto, para dar [enterprises] A confiança para fazer isso “, disse Bianconi.” No futuro, pelo menos a partir de agora realisticamente, voltaremos com um serviço gerenciado complementar “.
O serviço gerenciado se concentrará em automatizar os aspectos intensivos computacionalmente da otimização do LLM, mantendo o núcleo de código aberto. Isso inclui lidar com a infraestrutura de GPU para ajuste fino, execução de experimentos automatizados e fornecer sugestões proativas para melhorar o desempenho do modelo.
O que vem a seguir para a empresa remodelando a infraestrutura da IA da empresa
As posições do anúncio TensorZero Na vanguarda de um movimento crescente para resolver o desafio “LLMOPS” – a complexidade operacional da execução de aplicações de IA na produção. À medida que as empresas veem cada vez mais a IA como infraestrutura de negócios críticos, em vez de tecnologia experimental, a demanda por ferramentas prontas para a produção continua a acelerar.
Com o novo financiamento, a Tensorzero planeja acelerar o desenvolvimento de sua infraestrutura de código aberto enquanto construía sua equipe. A empresa está atualmente contratando em Nova York e recebe contribuições de código aberto da comunidade de desenvolvedores. Os fundadores estão particularmente empolgados com o desenvolvimento de ferramentas de pesquisa que permitirão experimentação mais rápida em diferentes aplicações de IA.
“Nossa visão last é ativar um volante de dados e aprender a otimizar aplicativos LLM – um ciclo de suggestions que transforma métricas de produção e suggestions humano em modelos e agentes mais inteligentes, mais rápidos e baratos”, disse Mehta. “À medida que os modelos de IA crescem mais inteligentes e assumem fluxos de trabalho mais complexos, você não pode argumentar sobre eles no vácuo; você deve fazê-lo no contexto de suas conseqüências do mundo actual”.
Tensorzero’s Rápido crescimento do Github E a tração empresarial precoce sugere um forte ajuste do mercado de produtos ao enfrentar um dos desafios mais prementes no desenvolvimento moderno da IA. A abordagem de código aberto da empresa e o foco no desempenho da qualidade corporativa podem provar vantagens decisivas em um mercado em que a adoção do desenvolvedor geralmente precede as vendas corporativas.
Para as empresas ainda lutando para mover aplicativos de IA do protótipo para a produção, a abordagem unificada da Tensorzero oferece uma alternativa atraente para a atuação de retalhos de ferramentas especializadas. Como observou um observador do setor, a diferença entre a construção de demos de IA e a construção de empresas de IA geralmente se resume à infraestrutura-e a Tensorzero está apostando que a infraestrutura unificada e orientada para o desempenho será a base sobre a qual a próxima geração de empresas de IA é construída.
avots
