Mittag-Leffler nació en Estocolmo, hijo del director de escuela John Olof Leffler y de Gustava Wilhelmina Mittag, cuyo apellido con el tiempo añadiría al paterno.