Background

Is RL + LLMs enough for AGI? — Sholto Douglas & Trenton Bricken

Dwarkesh Podcast22 de mayo de 20258641
Compartir episodio:Descargar

Descripción del Episodio

New episode with my good friends Sholto Douglas & Trenton Bricken. Sholto focuses on scaling RL and Trenton researches mechanistic interpretability, both at Anthropic.

We talk through what’s changed in the last year of AI research; the new RL regime and how far it can scale; how to trace a model’s thoughts; and how countries, workers, and students should prepare for AGI.

See you next year for v3. Here’s last year’s episode, btw. Enjoy!

Watch on YouTube; listen on Apple Podcasts or Spotify.

----------

SPONSORS

* WorkOS ensures that AI companies like OpenAI and Anthropic don't have to spend engineering time building enterprise features like access controls or SSO. It’s not that they don't need these features; it's just that WorkOS gives them battle-tested APIs that they can use for auth, provisioning, and more. Start building today at workos.com.

* Scale is building the infrastructure for safer, smarter AI. Scale’s Data Foundry gives major AI labs access to high-quality data to fuel post-training, while their public leaderboards help assess model capabilities. They also just released Scale Evaluation, a new tool that diagnoses model limitations. If you’re an AI researcher or engineer, learn how Scale can help you push the frontier at scale.com/dwarkesh.

* Lighthouse is THE fastest immigration solution for the technology industry. They specialize in expert visas like the O-1A and EB-1A, and they’ve already helped companies like Cursor, Notion, and Replit navigate U.S. immigration. Explore which visa is right for you at lighthousehq.com/ref/Dwarkesh.

To sponsor a future episode, visit dwarkesh.com/advertise.

----------

TIMESTAMPS

(00:00:00) – How far can RL scale?

(00:16:27) – Is continual learning a key bottleneck?

(00:31:59) – Model self-awareness

(00:50:32) – Taste and slop

(01:00:51) – How soon to fully autonomous agents?

(01:15:17) – Neuralese

(01:18:55) – Inference compute will bottleneck AGI

(01:23:01) – DeepSeek algorithmic improvements

(01:37:42) – Why are LLMs ‘baby AGI’ but not AlphaZero?

(01:45:38) – Mech interp

(01:56:15) – How countries should prepare for AGI

(02:10:26) – Automating white collar work

(02:15:35) – Advice for students



Get full access to Dwarkesh Podcast at www.dwarkesh.com/subscribe

Episodios Recientes

Is RL + LLMs enough for AGI? — Sholto Douglas & Trenton Bricken

Más podcasts de Sociedad y Cultura

Ver toda la categoría →
En Buen Pedo

En Buen Pedo

By shows

<p>El podcast más fuera de contexto de internet, dos grandes amigos se juntan a platicar de la vida real de la forma menos objetiva posible. </p><br /><p>Anécdotas, crisis existenciales y memes vivientes, Bastian y Conder sin duda se convertirán en tus nuevos mejores amigos. Siempre en buen pedo!</p><hr /><p> Hosted on Acast. See <a target="_blank" href="https://acast.com/privacy">acast.com/privacy</a> for more information.</p>

Meditación para dormir

Meditación para dormir

By shows

<p>✨Bienvenidos a&nbsp;Meditación para Dormir, un espacio dedicado a transformar tus noches en momentos de paz y descanso profundo. Nuestro podcast es un refugio para el alma, un lugar donde la serenidad se convierte en tu compañía y la tranquilidad te envuelve como una cálida manta, acompañándote hacia un sueño reparador.</p><br><p>Sabemos que el ritmo de la vida moderna puede ser abrumador, con tensiones que afectan tanto a tu salud como a tu bienestar mental. Por eso, aquí te ofrecemos herramientas valiosas para cuidar de tu salud mental y emocional. A través de meditaciones guiadas, historias reconfortantes, ejercicios de relajación y prácticas de mindfulness, queremos ayudarte a liberar el estrés, aliviar la ansiedad y abrazar la calma interior.</p><br><p>Cada episodio está diseñado para acompañarte en tu viaje hacia un sueño profundo y reparador. Imagina un lugar donde tus preocupaciones se disipan suavemente y las tensiones del día se desvanecen, dejando espacio para la paz mental. Con nuestro podcast, descubrirás que descansar no es solo una necesidad, sino un acto de amor propio y autoayuda que nutre cuerpo, mente y espíritu.</p><br><p>La meditación guiada te llevará a un estado de relajación profunda, ayudándote a desconectar de los pensamientos negativos y a cultivar una sensación de bienestar. La relajación no solo favorece el sueño, sino que también fortalece tu salud en general, mejorando tu equilibrio emocional y ayudándote a enfrentar los desafíos de cada día con energía renovada.</p><br><p>Mientras escuchas nuestras palabras y la música suave que las acompaña, te invitarán a imaginar paisajes serenos, cielos estrellados y brisas suaves que acarician tu piel. Cada historia y meditación está tejida con cuidado para brindarte consuelo y seguridad, permitiendo que tu mente se sumerja en un estado de profunda tranquilidad.</p><br><p>"Dormir no es solo cerrar los ojos; es abrir la puerta a un mundo de descanso y recuperación. Es el momento en que tu cuerpo se regenera y tu mente encuentra claridad."</p><br><p>En este espacio, queremos recordarte que mereces este descanso, que cuidarte a ti mismo es una prioridad y que cada noche es una nueva oportunidad para sanar y renovar tus fuerzas.</p><br><p>El sueño es la base de una buena salud mental, y nuestra misión es ayudarte a lograrlo. Con episodios pensados para todas las noches de la semana, encontrarás contenido que se adapta a tus necesidades: meditaciones para calmar la ansiedad, relatos que inspiran reflexión, técnicas de relajación para aquietar una mente agitada y ejercicios de mindfulness para centrar tu atención y disfrutar del presente. </p><br><p>Haz de este podcast un ritual nocturno, tu momento de desconexión del mundo exterior y reconexión contigo mismo. Deja que nuestras palabras sean como una suave melodía que te envuelve y te recuerda que mereces este instante de paz. Te acompañamos con la certeza de que, mientras te permites descansar, también te permites crecer y sanar.</p><br><p>En este espacio, no estás solo. Estás rodeado de una comunidad que valora el bienestar y la tranquilidad tanto como tú. Permítenos guiarte hacia noches más calmadas y mañanas llenas de energía renovada. La calma te espera, todo lo que necesitas hacer es escuchar y dejarte llevar.</p><br><p>Respira profundamente, cierra los ojos y sumérgete en este oasis de paz. Este es tu momento, tu refugio, tu camino hacia un sueño profundo y una vida más equilibrada.&nbsp;</p><br><p>Bienvenido a este viaje hacia la serenidad, donde cada noche es una oportunidad para encontrar la paz interior que tanto mereces . ✨</p><hr><p style='color:grey; font-size:0.75em;'> Hosted on Acast. See <a style='color:grey;' target='_blank' rel='noopener noreferrer' href='https://acast.com/privacy'>acast.com/privacy</a> for more information.</p>

Verano en la SER

Verano en la SER

By shows

Estés en la playa, en la montaña, en el pueblo o trabajando, SER Podcast te acompaña y hace mejor tu verano.

Tú, hipócrita lector

Tú, hipócrita lector

By shows

Una conversación profunda entre lectores… con destacadas personalidades y escritores del país sobre su afición por los libros y las letras. Cada semana Cristián Warnken nos invita a sumergirnos en el placer que nos entrega leer, en un podcast que viaja por los diferentes mundos que abre la literatura y conversa con el hipócrita lector que todos llevamos dentro.

Habits and Hustle

Habits and Hustle

By shows

Habits and Hustle helps share the stories, habits, and rituals of people's journeys on living fulfilled lives. Host Jennifer Cohen interviews thought leaders, entrepreneurs, and overall extraordinary people who share their insight and open up about the normally hidden aspects that have made a difference in their success.

Casefile True Crime

Casefile True Crime

By shows

Fact is scarier than fiction. Subscribe to Casefile Premium to receive ad-free episodes released one week early, along with access to bonus Q&A’s, our exclusive show ‘Behind the Files’, and more.<hr><p style='color:grey; font-size:0.75em;'> Hosted on Acast. See <a style='color:grey;' target='_blank' rel='noopener noreferrer' href='https://acast.com/privacy'>acast.com/privacy</a> for more information.</p>

Hecho en Chile Podcast

Hecho en Chile Podcast

By shows

Felipe y Nicolás te cuentan el chisme de las grandes empresas de Chile. Fundadores que lo apostaron todo, familias que se pelearon por la herencia, fraudes, fusiones y los escándalos que las marcas que usas todos los días preferirían que no contaras. Con datos reales y mucho, mucho humor. El chisme empresarial más serio de Chile.

Hágale como quiera

Hágale como quiera

By shows

José Rodríguez, Juan de Ávila y César Daniel te darán consejos sobre tecnología y resolverán tus dudas legales que te facilitarán tu vida. Escúchalos todos los miércoles.