
Reiner Pope – The math behind how LLMs are trained and served
Descripción del Episodio
Did a very different format with Reiner Pope - a blackboard lecture where he walks through how frontier LLMs are trained and served.
It’s shocking how much you can deduce about what the labs are doing from a handful of equations, public API prices, and some chalk.
It’s a bit technical, but I encourage you to hang in there – it’s really worth it.
There are less than a handful of people who understand the full stack of AI, from chip design to model architecture, as well as Reiner. It was a real delight to learn from him.
Recommend watching this one on YouTube so you can see the chalkboard.
Reiner is CEO of MatX, a new chip startup (full disclosure - I’m an angel investor). He was previously at Google, where he worked on software efficiency, compilers, and TPU architecture.
Download markdown of transcript here to chat with an LLM.
Wrote up some flashcards and practice problems to help myself retain what Reiner taught. Hope it's helpful to you too!
Sponsors
* Jane Street needs constant access to incredibly low-latency compute. I recently asked one of their engineers, Clark, to talk me through how they meet these demands. Our conversation—which touched on everything from FPGAs to liquid cooling—was extremely helpful as I prepped to interview Reiner. You can watch the full discussion and explore Jane Street’s open roles at janestreet.com/dwarkesh
* Google’s Gemma 4 is the first open model that’s let me shut off the internet and create a fully disconnected “focus machine”. This is because Gemma is small enough to run on my laptop, but powerful enough to actually be useful. So, to prep for this interview, I downloaded Reiner’s scaling book, disconnected from wifi, and used Gemma to help me break down the material. Check it out at goo.gle/Gemma4
* Cursor helped me turn some notes I took on how gradients flow during large-scale pretraining into a great animation. At first, I wasn’t sure the best way to visualize the concept, but Cursor’s Composer 2 Fast model let me iterate on different ideas almost instantaneously. You can check out the animation in my recent blog post. And if you have something to visualize yourself, go to cursor.com/dwarkesh
Timestamps
(00:00:00) – How batch size affects token cost and speed
(00:32:09) – How MoE models are laid out across GPU racks
(00:47:12) – How pipeline parallelism spreads model layers across racks
(01:03:37) – Why Ilya said, “As we now know, pipelining is not wise.”
(01:18:59) – Because of RL, models may be 100x over-trained beyond Chinchilla-optimal
(01:33:02) – Deducing long context memory costs from API pricing
(02:04:02) – Convergent evolution between neural nets and cryptography
Get full access to Dwarkesh Podcast at www.dwarkesh.com/subscribe
Episodios Recientes

Más podcasts de Sociedad y Cultura
Ver toda la categoría →
En Buen Pedo
By shows
<p>El podcast más fuera de contexto de internet, dos grandes amigos se juntan a platicar de la vida real de la forma menos objetiva posible. </p><br /><p>Anécdotas, crisis existenciales y memes vivientes, Bastian y Conder sin duda se convertirán en tus nuevos mejores amigos. Siempre en buen pedo!</p><hr /><p> Hosted on Acast. See <a target="_blank" href="https://acast.com/privacy">acast.com/privacy</a> for more information.</p>

Meditación para dormir
By shows
<p>✨Bienvenidos a Meditación para Dormir, un espacio dedicado a transformar tus noches en momentos de paz y descanso profundo. Nuestro podcast es un refugio para el alma, un lugar donde la serenidad se convierte en tu compañía y la tranquilidad te envuelve como una cálida manta, acompañándote hacia un sueño reparador.</p><br><p>Sabemos que el ritmo de la vida moderna puede ser abrumador, con tensiones que afectan tanto a tu salud como a tu bienestar mental. Por eso, aquí te ofrecemos herramientas valiosas para cuidar de tu salud mental y emocional. A través de meditaciones guiadas, historias reconfortantes, ejercicios de relajación y prácticas de mindfulness, queremos ayudarte a liberar el estrés, aliviar la ansiedad y abrazar la calma interior.</p><br><p>Cada episodio está diseñado para acompañarte en tu viaje hacia un sueño profundo y reparador. Imagina un lugar donde tus preocupaciones se disipan suavemente y las tensiones del día se desvanecen, dejando espacio para la paz mental. Con nuestro podcast, descubrirás que descansar no es solo una necesidad, sino un acto de amor propio y autoayuda que nutre cuerpo, mente y espíritu.</p><br><p>La meditación guiada te llevará a un estado de relajación profunda, ayudándote a desconectar de los pensamientos negativos y a cultivar una sensación de bienestar. La relajación no solo favorece el sueño, sino que también fortalece tu salud en general, mejorando tu equilibrio emocional y ayudándote a enfrentar los desafíos de cada día con energía renovada.</p><br><p>Mientras escuchas nuestras palabras y la música suave que las acompaña, te invitarán a imaginar paisajes serenos, cielos estrellados y brisas suaves que acarician tu piel. Cada historia y meditación está tejida con cuidado para brindarte consuelo y seguridad, permitiendo que tu mente se sumerja en un estado de profunda tranquilidad.</p><br><p>"Dormir no es solo cerrar los ojos; es abrir la puerta a un mundo de descanso y recuperación. Es el momento en que tu cuerpo se regenera y tu mente encuentra claridad."</p><br><p>En este espacio, queremos recordarte que mereces este descanso, que cuidarte a ti mismo es una prioridad y que cada noche es una nueva oportunidad para sanar y renovar tus fuerzas.</p><br><p>El sueño es la base de una buena salud mental, y nuestra misión es ayudarte a lograrlo. Con episodios pensados para todas las noches de la semana, encontrarás contenido que se adapta a tus necesidades: meditaciones para calmar la ansiedad, relatos que inspiran reflexión, técnicas de relajación para aquietar una mente agitada y ejercicios de mindfulness para centrar tu atención y disfrutar del presente. </p><br><p>Haz de este podcast un ritual nocturno, tu momento de desconexión del mundo exterior y reconexión contigo mismo. Deja que nuestras palabras sean como una suave melodía que te envuelve y te recuerda que mereces este instante de paz. Te acompañamos con la certeza de que, mientras te permites descansar, también te permites crecer y sanar.</p><br><p>En este espacio, no estás solo. Estás rodeado de una comunidad que valora el bienestar y la tranquilidad tanto como tú. Permítenos guiarte hacia noches más calmadas y mañanas llenas de energía renovada. La calma te espera, todo lo que necesitas hacer es escuchar y dejarte llevar.</p><br><p>Respira profundamente, cierra los ojos y sumérgete en este oasis de paz. Este es tu momento, tu refugio, tu camino hacia un sueño profundo y una vida más equilibrada. </p><br><p>Bienvenido a este viaje hacia la serenidad, donde cada noche es una oportunidad para encontrar la paz interior que tanto mereces . ✨</p><hr><p style='color:grey; font-size:0.75em;'> Hosted on Acast. See <a style='color:grey;' target='_blank' rel='noopener noreferrer' href='https://acast.com/privacy'>acast.com/privacy</a> for more information.</p>

Verano en la SER
By shows
Estés en la playa, en la montaña, en el pueblo o trabajando, SER Podcast te acompaña y hace mejor tu verano.

Tú, hipócrita lector
By shows
Una conversación profunda entre lectores… con destacadas personalidades y escritores del país sobre su afición por los libros y las letras. Cada semana Cristián Warnken nos invita a sumergirnos en el placer que nos entrega leer, en un podcast que viaja por los diferentes mundos que abre la literatura y conversa con el hipócrita lector que todos llevamos dentro.

Habits and Hustle
By shows
Habits and Hustle helps share the stories, habits, and rituals of people's journeys on living fulfilled lives. Host Jennifer Cohen interviews thought leaders, entrepreneurs, and overall extraordinary people who share their insight and open up about the normally hidden aspects that have made a difference in their success.

Casefile True Crime
By shows
Fact is scarier than fiction. Subscribe to Casefile Premium to receive ad-free episodes released one week early, along with access to bonus Q&A’s, our exclusive show ‘Behind the Files’, and more.<hr><p style='color:grey; font-size:0.75em;'> Hosted on Acast. See <a style='color:grey;' target='_blank' rel='noopener noreferrer' href='https://acast.com/privacy'>acast.com/privacy</a> for more information.</p>

Hecho en Chile Podcast
By shows
Felipe y Nicolás te cuentan el chisme de las grandes empresas de Chile. Fundadores que lo apostaron todo, familias que se pelearon por la herencia, fraudes, fusiones y los escándalos que las marcas que usas todos los días preferirían que no contaras. Con datos reales y mucho, mucho humor. El chisme empresarial más serio de Chile.

Hágale como quiera
By shows
José Rodríguez, Juan de Ávila y César Daniel te darán consejos sobre tecnología y resolverán tus dudas legales que te facilitarán tu vida. Escúchalos todos los miércoles.