OpenAI CEO Sam Altman sobre o Futuro da IA

a única pessoa que vai decidir o nosso futuro.

Eu, tipo, sabia como era na Área da Baía e depois era muito mais intenso em todo o lado.

Então, mais entusiasmo do que ansiedade?

Definitivamente ansiedade também, como deveria haver, sabes, é preciso ter os dois.

Hum, mas a ponderação, a, a, a compreensão dessa nuance e a tensão entre os dois, uh, que existe em todo o lado e o desejo das pessoas de realmente descobrir como impulsionar o progresso económico e social com esta tecnologia e também o que será preciso para nos unirmos como planeta para realmente garantir que evitamos alguns dos cenários negativos, foi bastante sofisticado.

Como poderias mudar a tua abordagem ao desenvolvimento da IA como resultado do que aprendeste?

Bem, há um monte de feedback específico, tirei mais de 100 páginas de notas de reuniões com programadores sobre queixas que as pessoas têm, uh, ou coisas que querem.

Vi-te a tirar essas notas manuscritas lá fora.

Eu tiro, sim, tiro notas manuscritas.

Hum, e depois, então, há tudo isso e depois há, tipo, a forma como as pessoas querem personalizar as ferramentas, a forma como as pessoas querem garantir que os seus próprios valores, cultura, história, língua são representados e o que temos de fazer para permitir isso.

Então, haverá um monte de mudanças específicas que faremos.

Hum, e depois, o, o, o desejo de o mundo cooperar, hum, tipo, o número de líderes mundiais que diriam coisas como, acho que isto é muito importante, queremos que a IAG corra bem, tipo, digam a todos os outros líderes mundiais que estou dentro e que vamos trabalhar juntos, tipo, isso apareceu talvez todas as vezes, exceto uma.

No meio de tudo isto, assinaste uma declaração de 22 palavras a alertar para os perigos da IA.

Diz: 'Mitigar o risco de extinção da IA deve ser uma prioridade global, juntamente com outros riscos à escala da sociedade, como pandemias e guerra nuclear.'

Liga os pontos para nós aqui. Como passamos de um chatbot fixe para o fim da humanidade?

Bem, vamos, estamos a planear não o fazer.

Essa é a esperança.

Tipo, sabes, isso é

Mas também há o medo.

Hum,

Quer dizer, acho que há muitas maneiras de as coisas correrem mal, mas nós trabalhamos com tecnologia poderosa que pode ser usada de formas perigosas.

Com muita frequência no mundo.

Hum, e acho que desenvolvemos ao longo das décadas boas práticas de sistemas de segurança em muitas categorias.

Uh, não é perfeito e isto também não será perfeito.

As coisas vão correr mal.

Hum, mas acho que seremos capazes de mitigar alguns dos piores cenários que se podem imaginar, hum, sabes, o bioterrorismo é um exemplo comum, a cibersegurança é outro, há muitos mais sobre os quais poderíamos falar.

Mas, hum,

à medida que esta tecnologia, tipo, a principal coisa que eu sinto que é importante sobre esta tecnologia é que estamos numa curva exponencial e relativamente íngreme.

E

humano

Não me parece.

Aplausos.

Então, estiveste em todo o lado nos últimos dois meses.

Foi, foi uma longa viagem, sim.

E não foi necessariamente por uma ordem específica.

Estiveste no Rio, estiveste em Tóquio, estiveste em

mais ou menos para leste, a toda a volta.

Tentei, tentei.

O que te surpreendeu mais?

Muito.

É uma experiência muito especial poder falar com pessoas que são utilizadores, programadores, também líderes mundiais interessados em IA, tipo, o dia todo, todos os dias, durante tanto tempo.

Consegues realmente ter uma compreensão do que está a acontecer e das diferenças subtis entre os lugares.

Mas acho que a maior surpresa foi o nível de entusiasmo, otimismo, crença no futuro e o que isto vai significar em todo o lado.

uma intuição para curvas exponenciais é realmente má, em geral.

Hum, claramente não foi assim tão importante na nossa história evolutiva.

E, e então, acho que temos de, dado que todos temos essa fraqueza, acho que temos de nos esforçar muito para dizer, ok,

O GPT-4, sabe, não é um risco como o que está a falar. Mas quão certos estamos de que o GPT-9 não será?

E se puder ser, mesmo que haja uma pequena percentagem de hipótese de ser realmente mau, isso merece grande cuidado.

E se há essa pequena percentagem de hipótese, por que continuar a fazer isto? Por que não parar?

Hum, quero dizer, por várias razões.

Eu, eu acho que é, A, acho que os benefícios aqui são tremendos.

A, sabe, oportunidade para todos na Terra terem uma educação de melhor qualidade do que basicamente qualquer um pode ter hoje.

Hum, isso parece realmente importante e seria uma coisa má de parar.

Hum, cuidados médicos e o que acho que vai acontecer aí, uh, e tornar isso disponível verdadeiramente a nível global. Uh, isso vai ser transformador.

O progresso científico que vamos ver. Eu sou um grande crente de que melhorias reais e sustentáveis na qualidade de vida vêm do progresso científico e tecnológico.

E acho que vamos ter muito mais disso.

Então, há todos os benefícios óbvios e, sabe, tipo, acho que seria bom acabar com a pobreza.

Tipo, talvez ache que devíamos parar uma tecnologia que pode fazer isso. Eu, pessoalmente, não acho.

Hum, mas temos de gerir o risco para lá chegar.

Também acho que, neste momento, dado o quanto as pessoas veem os benefícios económicos e o potencial, hum, nenhuma empresa conseguiria pará-lo.

Mas a regulamentação global, que eu só acho que deveria ser aplicada a estes sistemas de nível de risco existencial poderosos.

Uh, a regulamentação global é difícil e, sabe, não se quer exagerar, com certeza.

Mas acho que a regulamentação global pode ajudar a torná-lo seguro, o que é uma resposta melhor do que pará-lo.

Também não acho que pará-lo funcionaria.

Vamos falar sobre a regulamentação global. Tem viajado pelo mundo a reunir-se com reguladores, encontrou-se com o Presidente Biden e os CEOs da Microsoft e da Google.

E está a pedir regulamentação, mas com algumas ressalvas.

Os críticos dizem que parece que está a dizer, regulem-nos, mas não realmente.

Ou que está a pedir regulamentação em público, mas a fazer lobby por outra coisa em privado. Como responderia a isso?

Hum, estamos a pressionar por isso em privado também.

Quero dizer, obviamente, temos algumas opiniões sobre as formas de o fazer que serão eficazes e as que serão ineficazes.

Nós, por exemplo, não achamos que pequenas startups e modelos de código aberto abaixo de um certo limiar de capacidade muito elevado, hum, devam estar sujeitos a muita regulamentação.

Vimos o que acontece a países que tentam regulamentar excessivamente a tecnologia. Não acho que seja isso que queremos aqui.

Hum, mas também, achamos que é super importante que, ao pensarmos num sistema que poderia estar num nível de risco como o que estava a falar, hum, tenhamos uma resposta global e o mais coordenada possível.

Então, temos falado sobre isso publicamente, privadamente. Acho que é realmente importante.

Sabe, poderiam apontar que estamos a tentar fazer uma captura regulatória aqui ou o que seja, mas eu simplesmente não, acho que isso é tão transparentemente desonesto intelectualmente. Nem sei como responder.

Há também a visão dos céticos de que está a construir estas relações com os reguladores e que isso vai excluir outras startups.

Isso, isso é o que eu queria dizer com a parte da captura regulatória.

Tipo, tipo, estamos a dizer explicitamente, não devem regulamentar. Vou dizer de novo agora, não devem regulamentar pequenas startups. É um fardo para elas que não queremos como sociedade.

O que pensa sobre o sistema de certificação de modelos de IA que a administração Biden está a propor?

Eu, eu acho que há alguma versão disso que é realmente boa.

Hum, acho que as pessoas que treinam modelos que estão muito acima de qualquer escala de modelo que temos hoje, mas acima de um certo limiar de capacidade.

Acho que deveriam precisar de passar por um processo de certificação para isso.

Acho que deveria haver auditorias externas e testes de segurança. Fazemos isto para, tipo, muitos

noutras indústrias onde nos preocupamos com a segurança.

Elon Musk disse que vocês começaram a OpenAI, ambos começaram a OpenAI porque ele tinha medo da Google.

A Google ainda é uma ameaça?

A Google é incrivelmente competente e parece que estão focados com uma intensidade que a Google não via há muito tempo na IA.

Então, ainda são assustadores.

Eles são uma empresa que não acho que alguém deva descartar.

Agora, obviamente, vimos todas as farpas que tu e o Elon têm trocado em público e em entrevistas.

Trocado, eu não, na verdade.

Bem, estás a responder, estás a responder, és questionado sobre isso por pessoas como eu, para ser justo.

Principalmente pessoas como tu, para ser honesto, a maioria das outras pessoas pergunta sobre a tecnologia, mas isso é verdade.

Porque, porque achas que ele está tão frustrado ou desapontado com a direção que a OpenAI tomou?

Hum,

Quer dizer, devias perguntar-lhe a ele, ele pode dar-te uma resposta melhor do que eu posso especular.

Então, mas

Eu, tipo, estou mesmo feliz por falar sobre isto se este for o tópico mais importante, podemos passar o resto do tempo nisto.

Hum, eu, eu acho

Não o resto do tempo, só um pouco.

Acho que ele se preocupa muito com a segurança da IA.

Muito.

E acho que isso vem de um bom lugar e ele simplesmente, sabes, temos diferenças de opinião em algumas partes.

Mas acho que ambos nos preocupamos com isso e ele quer ter a certeza de que nós, o mundo, temos a máxima chance de um bom resultado.

Então, não estás preocupado que ele te chame para uma luta de jaula no octógono de Vegas?

Eu não.

Não acho que eu iria.

Ele acabou de fazer isso com o Mark Zuckerberg.

Mas eu, de certa forma, iria assistir se ele e o Zuck realmente fizessem isso.

Certo, bem, supostamente está a acontecer entre ele e o Zuck.

Loucura.

Acho que haverá uma boa audiência.

Olha, sabes, muito se tem falado da relação com a Microsoft.

E não é só ele, sabes, mas ele disse que está preocupado que a Microsoft tenha mais controlo do que a liderança da OpenAI percebe e que eles possam cortar-vos a qualquer momento.

Isso é verdade?

Quer dizer, acho que o que ele quer dizer é que eles poderiam, tipo, quebrar o contrato e, sabes, tirar-nos o acesso ao centro de dados.

E muito dinheiro a que tens acesso, certo?

Temos dinheiro, é o centro de dados que eles operam para nós, não acho que seja um cenário provável por várias razões.

Como caracterizarias a relação com a Microsoft?

Achamos que é ótima, quer dizer, como qualquer relação profunda e complexa, não é sem os seus desafios.

Mas é realmente ótima e é de longe a melhor parceria importante de que já fiz parte.

Hum, é tipo, de ambos os lados, foi uma coisa meio louca de se meter e é surpreendente que funcione tão bem.

Mas se olharmos para os resultados de ambas as empresas, estamos muito felizes.

Em 2018, foi a última vez que, acredito, falámos pessoalmente.

Hum, tu disseste-me que achavas que a IA nos ajudaria a ser o nosso melhor, mas também a travar os nossos piores impulsos.

O que te deixa confiante nisso, porque tantas vezes, repetidamente, parece que a tecnologia só amplificou o nosso pior.

Sim, e para ser claro, tipo, também fará coisas más.

Tipo, não tenho esta visão apenas boa disso.

Sou, acho que realista como outras tecnologias.

Acho que nós, nós, é da natureza humana falar mais sobre o mau do que sobre o bom.

Hum, e acho que podemos olhar para outras tecnologias que fizeram muito bem e muito mal e falar 99% sobre o mal e 1% sobre o bem.

E eu também faço isso, tipo, acho que é compreensível.

Acho que, então, em 2018, isso foi muito antes da série GPT ser uma coisa, sabes, então, nessa altura, não tínhamos, tínhamos uma ideia de que ia ser assim, certamente não sabíamos exatamente.

Mas acho que agora para onde estamos a ir é para esta ferramenta pessoal que te pode ajudar da maneira que quiseres.

E uma das partes divertidas da viagem foi como

...quão diversas e amplas são as histórias de como as pessoas o utilizam para serem melhores no que quiserem e para as ajudar a melhorar o que pretendem.

Portanto, acho que se forem falar com utilizadores do ChatGPT, encontrarão imenso apoio a esse comentário de 2018.

E também encontram pessoas que o utilizam indevidamente ou estão descontentes com ele.

O choque com a realidade, contudo, é que estão a construir isto sobre dados humanos que são tendenciosos, racistas, sexistas, emocionais e errados — grande parte está errada.

Sem dúvida.

E como é que se protegem contra isso?

Houve um estudo recente em que o GPT-4, o modelo lançado, é menos tendencioso em testes de preconceito implícito do que os humanos, mesmo aqueles que acham que se treinaram bem para isso.

Portanto, se olharem para o modelo que sai do processo de pré-treino, esse modelo será bastante tendencioso e refletirá a internet.

Mas a aprendizagem por reforço com feedback humano, uma das técnicas que usamos para alinhar os modelos, funciona bastante bem.

E, se virem o progresso de modelo para modelo, até alguns dos nossos maiores críticos dizem: «Uau, conseguiram retirar imenso preconceito do modelo».

Por isso, penso que modelos como este podem ser uma força para reduzir o preconceito no mundo, não para o ampliar.

Agora, há dúvidas: e se um utilizador quiser usar o modelo de forma muito tendenciosa? Quanto controlo se dá ao utilizador? Quem decide quais são os limites do sistema de valores?

E essa será uma questão difícil com que a sociedade terá de lidar; não há uma resposta óbvia, arrumada numa só frase.

Mas a tecnologia foi muito mais longe do que se pensava no que toca a alinhar estes modelos para se comportarem de certas formas.

Nós temos conversado desde os teus tempos da Loopt na YC, e tem sido divertido acompanhar esse percurso.

Acho que as pessoas querem mesmo perceber os teus incentivos e não os compreendem necessariamente.

As pessoas ficam perplexas — perguntei a muita gente o que devia perguntar-te...

Ficam perplexas por não teres capital na empresa.

Podes explicar um pouco isso? Há alguma estrutura financeira através da qual possas beneficiar se a OpenAI for um grande sucesso?

Sim, compreendo a perplexidade e já ponderei se não devia simplesmente aceitar uma ação para nunca mais ter de responder a isto.

Vários pontos. Primeiro, somos governados por uma organização sem fins lucrativos da qual faço parte da administração, e a maioria tem de ser de administradores desinteressados, sem capital na empresa.

Portanto, de início não o fiz por esse motivo, e depois pensei que simplesmente nem sequer penso nisso até...

Mas há incentivos financeiros, como atingir determinada meta? Não. Tenho uma exposição minúscula via YC, mas é insignificante.

Para clarificar: se a OpenAI for altamente lucrativa, não beneficias financeiramente?

Uma das coisas que aprendi com perguntas destas é que a ideia de ter dinheiro suficiente não é fácil de transmitir às pessoas.

É difícil para as pessoas compreenderem. Difícil de compreender.

Eu já tenho dinheiro suficiente. Vou lucrar muito, muito mais com outros investimentos que fiz no passado.

Se tivesse ficado com as ações e assinado o Giving Pledge, diriam: «Fantástico, faz sentido». E teria dado no mesmo: estou a doá-lo antecipadamente à organização sem fins lucrativos da OpenAI, na qual confio para fazer bom uso dele.

Mas tenho dinheiro suficiente. O que quero mais é uma vida interessante, impacto, poder estar na sala em conversas estimulantes, pelo que continuo a tirar muito proveito egoísta disto.

E o que mais faria com o meu tempo? Isto é mesmo fantástico, não imagino nada mais...

mais interessante, como a vida do que esta, e algo mais interessante para trabalhar.

Então, eu obtenho imensos benefícios,

mas sim, de alguma forma, esta ideia de ter dinheiro suficiente simplesmente não faz sentido para as pessoas.

Então, se não é sobre dinheiro, é sobre poder? É sobre controlo?

Eu quero dar o meu contributo para, sabe, o progresso tecnológico humano.

Eu beneficio de todas estas coisas que as pessoas fizeram antes.

Eu, tipo, consigo usar este iPhone que ainda me maravilha todos os dias.

Todo o trabalho que teve de ser feito para isso na árvore tecnológica humana.

E essas pessoas, eu não sei quem são. Estou muito grato a elas.

Hum, eles sabiam que nunca iriam receber reconhecimento meu pessoalmente, mas também queriam fazer algo para contribuir.

E eu também, e não consigo imaginar melhor compensação do que esse sentimento.

Hum, seria talvez estranho se eu já não tivesse feito muito dinheiro e, novamente, planeasse fazer muito mais com outros investimentos.

Mas eu simplesmente não penso nisso.

Sim.

Hum,

Acho que isto será como

Acho que este será o passo mais importante até agora que a humanidade tem de dar com a tecnologia.

Hum, e eu realmente preocupo-me com isso.

Qual é uma pergunta que realmente desejaria que pessoas como eu fizessem?

Eu quero ouvir sobre o Elon e a equidade e, sabe, o drama pessoal do dia.

Mas a sério.

Hum,

Eu entendo que está a receber muitas dessas perguntas.

Não, estou feliz em falar sobre isso.

Eu

uma pergunta.

Tipo, estou sempre entusiasmado para falar sobre o que pode acontecer nos próximos anos e décadas com a tecnologia.

Então, o que vamos todos fazer quando não tivermos nada para fazer?

Ah, quero dizer, falar sobre o Elon e o Zuck, suponho.

A sério.

Não sei. Não, eu não acho que alguma vez fiquemos sem coisas para fazer.

Eu, eu acho que está profundamente na nossa natureza querer criar, querer ser útil, querer sentir a realização de fazer algo que importa.

E se falarmos com pessoas de há milhares de anos, até centenas de anos, o trabalho que fazemos agora teria parecido, sabe, inimaginável na melhor das hipóteses e provavelmente trivial. Isto não é diretamente necessário para a nossa sobrevivência no sentido de, tipo, criar comida ou o que quer que seja.

E esta mudança acontece com cada revolução tecnológica, cada vez que nos preocupamos com o que as pessoas vão fazer do outro lado.

E cada vez encontramos coisas.

E suspeito que não só esta vez não será uma exceção, como as coisas que encontrarmos serão melhores, mais interessantes e mais impactantes do que nunca.

Tipo, há muitas pessoas que falam da IA como a última revolução tecnológica.

Suspeito que, sabe, do outro lado parecerá a primeira.

As outras coisas serão tão pequenas em comparação.

Eu, eu acho que toda a questão das revoluções tecnológicas é um pouco tola porque a minha compreensão sempre foi que é apenas uma longa e contínua.

Mas é esta exponencial contínua.

E então, o que será possível, as coisas que nem conseguimos imaginar do outro lado, teremos muito, muito para fazer.

Se quiser, se quiser apenas ficar sentado sem fazer nada, também estará bem.

Certo. Certo. Bombons e pêssegos no meu futuro.

Se é isso que você... Não acho que seja isso que vai querer.

Mas se o fizer, ótimo.

Falou sobre IAs a projetar outras IAs na digressão.

Pode explicar-nos isso e as suas implicações?

Sim, quero dizer, esta é a ideia clássica da ficção científica.

Que, sabe, a certa altura, estes sistemas podem ajudar a progredir a si próprios, podem descobrir melhores arquiteturas, podem ajudar a escrever o seu próprio código.

Ah, sabe, acho que estamos longe disso, mas vale a pena prestar atenção.

Sim.

China e Rússia, não foi lá na sua viagem.

Eu falei, dei a palestra principal na conferência chinesa.

Falou virtualmente. Sim.

Onde é que acha que eles estão na IA e devemos estar preocupados?

Não sei bem. Gostaria de ter melhor informação sobre isso.

Não tenho uma boa perceção.

Isso preocupa-o?

Que não saibamos?

Sim, quero dizer, novamente, qualquer informação imperfeita é sempre um pouco preocupante.

Então, gostaria de ter uma melhor perceção.

Sabe, estou otimista de que podemos encontrar algum tipo de colaboração.

E acho que esta coisa que muitas vezes se diz nos EUA, que é tipo, é impossível cooperar com a China, está totalmente fora de questão.

É afirmado como facto e as pessoas estão a tentar que se torne realidade.

Mas não me parece claro que seja verdade.

Na verdade, suspeito que não seja.

Hum, bem,

Seria difícil.

Certo, certo, certo.

Olha, estou muito grata por teres andado pelo mundo a falar sobre isto.

Estou muito grata por estares connosco hoje.

Acho que até tu reconhecerias que tens uma quantidade incrível de poder neste momento.

Porque é que devemos confiar em ti?

Hum, não deviam.

Tipo.

Sabes, eu não, como me conheces há muito tempo.

Hum, falar em público, tipo, preferia estar no escritório a trabalhar.

Eu, eu, mas acho que neste momento, as pessoas merecem basicamente tanto tempo a fazer perguntas quanto quiserem.

E estou a tentar aparecer e fazê-lo.

Mas mais do que isso, uh, tipo, nenhuma pessoa deve ser confiada aqui.

Não tenho ações com superpoder de voto.

Hum, tipo, não as quero.

A direção pode despedir-me. Acho que isso é importante.

Acho que a direção, com o tempo, precisa de ser democratizada para toda a humanidade.

Há muitas maneiras de isso ser implementado.

Hum, mas a razão da nossa estrutura e a razão pela qual é tão estranha, e uma das consequências dessa estranheza foi eu ficar sem capital próprio.

É que pensamos que esta tecnologia, os benefícios, o acesso a ela, a sua governação, pertencem à humanidade como um todo.

Não devias, se isto realmente funcionar.

É uma tecnologia bastante poderosa e não deves confiar numa empresa e, certamente, não numa pessoa com ela.

Então, porque é que devemos confiar na OpenAI? Estás a dizer que não devíamos?

Não, acho que, acho que devias confiar na OpenAI, mas só se a OpenAI estiver a fazer este tipo de coisas.

Tipo, se estivermos, sabes, anos no futuro e não tivermos descoberto como começar a democratizar o controlo, então acho que não devias.

Mas se isto for tipo, sabes, se descobrirmos algum tipo de nova estrutura onde a OpenAI é governada pela humanidade.

E isso pode acontecer de muitas maneiras, incluindo o conjunto de dados de alinhamento que escolhemos, em vez de nós o escolhermos, encontramos uma maneira de o obter da humanidade como um todo.

Hum, isso poderia significar controlo real da direção. Há muitas maneiras de isso ser implementado.

E estamos a falar com muitas pessoas sobre como isso poderia ser.

Mas se não fizermos isso, não acho que 'confiem em nós' seja suficiente.

Bem, obrigado por explicares porque devemos talvez considerar confiar em ti.

Hum, tens um avião para apanhar.

Estamos muito gratos pelo teu tempo.

Muito obrigado por me receberem.

Muito obrigado.

Com certeza.