Com Bedrock, a Amazon entra na corrida de IA generativa

A Amazon está entrando na corrida da IA generativa. Mas, em vez de criar modelos de IA inteiramente por conta própria, ela está recrutando terceiros para hospedar modelos na AWS.

A AWS apresentou hoje o Amazon Bedrock, que fornece uma maneira de criar aplicativos generativos baseados em IA por meio de modelos pré-treinados de startups, incluindo AI21 Labs, Anthropic e Stability AI . Disponível em uma “visualização limitada”, o Bedrock também oferece acesso aos Titan FMs (modelos de fundação), uma família de modelos treinados internamente pela AWS.

“Aplicar aprendizado de máquina ao mundo real – resolver problemas de negócios reais em escala – é o que fazemos de melhor”, disse Vasi Philomin, vice-presidente de IA generativa da AWS, ao TechCrunch em entrevista por telefone. “Achamos que todos os aplicativos existentes podem ser reimaginados com IA generativa.”


A estreia da Bedrock foi um tanto telegrafada pelas parcerias recentemente firmadas da AWS com startups de IA generativa nos últimos meses, além de seus investimentos crescentes na tecnologia necessária para criar aplicativos de IA generativa.

Em novembro passado, a Stability AI selecionou a AWS como seu provedor de nuvem preferido e, em março, a Hugging Face e a AWS colaboraram para trazer os modelos de geração de texto da primeira para a plataforma AWS. Mais recentemente, a AWS lançou um acelerador de IA generativo para startups e disse que trabalharia com a Nvidia para construir uma infraestrutura de “próxima geração” para treinar modelos de IA.

Modelos básicos e personalizados
Bedrock é a jogada mais forte da Amazon até agora para o mercado generativo de IA, que pode valer cerca de US$ 110 bilhões até 2030, de acordo com estimativas da Grand View Research.

Com a Bedrock, os clientes da AWS podem optar por explorar modelos de IA de vários fornecedores diferentes, incluindo a AWS, por meio de uma API. Os detalhes são um pouco obscuros - a Amazon não anunciou preços formais, por exemplo. Mas a empresa enfatizou que o Bedrock é voltado para grandes clientes que criam aplicativos de IA de “escala empresarial”, diferenciando-o de alguns dos serviços de hospedagem de modelos de IA existentes, como o Replicate ( além dos rivais incumbentes Google Cloud e Azure).

Presume-se que os fornecedores de modelos de IA generativa foram incentivados pelo alcance da AWS ou pelo potencial compartilhamento de receita para ingressar na Bedrock. A Amazon não revelou os termos do modelo de licenciamento ou acordos de hospedagem, no entanto.

Os modelos de terceiros hospedados no Bedrock incluem a família Jurassic-2 da AI21 Labs, que são multilíngues e podem gerar texto em espanhol, francês, alemão, português, italiano e holandês. Claude, o modelo da Anthropic em Bedrock, pode executar uma variedade de tarefas de conversação e processamento de texto. Enquanto isso, o conjunto de modelos hospedados em Bedrock de texto para imagem da Stability AI, incluindo Stable Diffusion , pode gerar imagens, arte, logotipos e designs gráficos.

Quanto às ofertas sob medida da Amazon, a família Titan FM compreende dois modelos no momento, com presumivelmente mais por vir no futuro: um modelo de geração de texto e um modelo de incorporação. O modelo de geração de texto, semelhante ao GPT-4 da OpenAI (mas não necessariamente no mesmo nível de desempenho), pode executar tarefas como escrever postagens de blog e e-mails, resumir documentos e extrair informações de bancos de dados. O modelo de incorporação traduz entradas de texto como palavras e frases em representações numéricas, conhecidas como incorporações, que contêm o significado semântico do texto. Philomin afirma que é semelhante a um dos modelos que impulsiona as pesquisas na Amazon.com.

Os clientes da AWS podem personalizar qualquer modelo Bedrock apontando o serviço para alguns exemplos rotulados no Amazon S3, o plano de armazenamento em nuvem da Amazon — apenas 20 são suficientes. Nenhum dado do cliente é usado para treinar os modelos subjacentes, diz a Amazon.

“Na AWS … desempenhamos um papel fundamental na democratização do aprendizado de máquina e em torná-lo acessível a qualquer pessoa que queira usá-lo”, disse Philomin. “O Amazon Bedrock é a maneira mais fácil de criar e dimensionar aplicativos de IA generativos com modelos de base.”

Obviamente, dadas as questões legais não respondidas em torno da IA ​​generativa, é de se perguntar exatamente quantos clientes morderão.

A Microsoft obteve sucesso com seu conjunto de modelos de IA generativa, Azure OpenAI Service, que agrupa modelos OpenAI com recursos adicionais voltados para clientes corporativos. Em março, mais de 1.000 clientes estavam usando o Azure OpenAI Service, disse a Microsoft em uma postagem no blog .

Mas há vários processos pendentes sobre tecnologia de IA generativa de empresas como OpenAI e Stability AI, movidos por demandantes que alegam que dados protegidos por direitos autorais, principalmente arte, foram usados ​​sem permissão para treinar os modelos generativos. (Modelos de IA generativa “aprendem” a criar arte, código e muito mais por meio de “treinamento” em imagens e textos de amostra, geralmente extraídos indiscriminadamente da web.) Outro caso que tramita nos tribunais procura estabelecer se os modelos de geração de código que usam 't dar atribuição ou crédito pode de fato ser comercializado, e um prefeito australiano ameaçou um processo de difamação contra a OpenAI por imprecisões jorradas por seu modelo generativo ChatGPT .

Philomin não incutiu muita confiança, francamente, recusando-se a dizer em quais dados exatamente a família Titan FM da Amazon foi treinada. Em vez disso, ele enfatizou que os modelos Titan foram criados para detectar e remover conteúdo “nocivo” nos dados que os clientes da AWS fornecem para personalização, rejeitar a entrada de conteúdo “inapropriado” dos usuários e filtrar saídas contendo discurso de ódio, palavrões e violência.

Claro, mesmo os melhores sistemas de filtragem podem ser contornados, como demonstrado pelo ChatGPT. Os chamados ataques de injeção imediata contra ChatGPT e modelos semelhantes foram usados ​​para escrever malware, identificar explorações em código-fonte aberto e gerar conteúdo repugnantemente sexista, racista e desinformativo . (Os modelos de IA generativa tendem a amplificar os vieses nos dados de treinamento ou, se ficarem sem dados de treinamento relevantes, simplesmente inventam as coisas.)

Mas Philomin ignorou essas preocupações.

“Estamos comprometidos com o uso responsável dessas tecnologias”, disse ele. “Estamos monitorando o cenário regulatório por aí… temos muitos advogados nos ajudando a ver quais dados podemos usar e quais não podemos usar.”

Deixando de lado as tentativas de garantia de Philomin, as marcas podem não querer ser responsabilizadas por tudo o que pode dar errado. (No caso de uma ação judicial, não está totalmente claro se os clientes da AWS, a própria AWS ou o criador do modelo infrator seriam responsabilizados.) Mas os clientes individuais podem - especialmente se não houver cobrança pelo privilégio.

CodeWhisperer, Trainium e Inferentia2 são lançados em GA
Sobre o assunto e coincidindo com seu grande impulso de IA generativa hoje, a Amazon tornou o CodeWhisperer , seu serviço de geração de código baseado em IA, gratuitamente para desenvolvedores sem quaisquer restrições de uso.

A mudança sugere que o CodeWhisperer não viu a aceitação que a Amazon esperava. Seu principal rival, o GitHub's Copilot , tinha mais de um milhão de usuários em janeiro, milhares dos quais são clientes corporativos. O CodeWhisperer tem motivos para compensar, certamente - o que pretende fazer no lado corporativo com o lançamento simultâneo do CodeWhisperer Professional Tier. O CodeWhisperer Professional Tier adiciona logon único com integração do AWS Identity and Access Management, bem como limites mais altos na verificação de vulnerabilidades de segurança.

O CodeWhisperer foi lançado no final de junho como parte das extensões AWS IDE Toolkit e AWS Toolkit IDE como uma espécie de resposta ao já mencionado Copilot. Treinado em bilhões de linhas de código-fonte aberto publicamente disponível e na própria base de código da Amazon, bem como documentação e código em fóruns públicos, o CodeWhisperer pode preencher automaticamente funções inteiras em linguagens como Java, JavaScript e Python com base em apenas um comentário ou algumas teclas.

O CodeWhisperer agora oferece suporte a várias linguagens de programação adicionais — especificamente Go, Rust, PHP, Ruby, Kotlin, C, C++, script Shell, SQL e Scala — e, como antes, destaca e opcionalmente filtra a licença associada às funções que sugere que tenham uma semelhança aos snippets existentes encontrados em seus dados de treinamento.
O destaque é uma tentativa de evitar os desafios legais que o GitHub enfrenta com o Copilot. O tempo dirá se é bem sucedido.

“Os desenvolvedores podem se tornar muito mais produtivos com essas ferramentas”, disse Philomin. “É difícil para os desenvolvedores estarem atualizados sobre tudo... ferramentas como essa os ajudam a não se preocupar com isso.”

Em território menos controverso, a Amazon anunciou hoje que está lançando instâncias Elastic Cloud Compute (EC2) Inf2 em disponibilidade geral, equipadas com os chips AWS Inferentia2 da empresa , que foram apresentados no ano passado na conferência re:Invent da Amazon. As instâncias Inf2 são projetadas para acelerar os tempos de execução de IA, oferecendo uma taxa de transferência ostensivamente melhor e menor latência para melhorar o desempenho geral do preço de inferência.

Além disso, as instâncias Trn1n do Amazon EC2 fornecidas pelo AWS Trainium , o chip personalizado da Amazon para treinamento de IA, também estão disponíveis para os clientes a partir de hoje, anunciou a Amazon. Eles oferecem até 1600 Gbps de largura de banda de rede e são projetados para oferecer desempenho até 20% superior ao Trn1 para modelos grandes e com uso intensivo de rede, diz a Amazon.

Tanto o Inf2 quanto o Trn1n competem com ofertas rivais do Google e da Microsoft, como os chips TPU do Google para treinamento de IA.

“A AWS oferece a infraestrutura de nuvem mais eficaz para IA generativa”, disse Philomin com confiança. “Uma das necessidades dos clientes são os custos certos para lidar com esses modelos… É uma das razões pelas quais muitos clientes não colocam esses modelos em produção.”

As palavras de luta deles - o crescimento da IA ​​generativa supostamente deixou o Azure de joelhos. A Amazon sofrerá o mesmo destino? Isso deve ser determinado.