Etter studier ved Uppsala universitet fikk han stipendium til å reise i Europa, der han ble venn med sin samtids store begavelser, blant andre Charles Hermite og Karl Weierstrass. Han ble utnevnt til professor i matematikk i Helsingfors i 1877 og ble i 1881 den første matematikkprofessor i Stockholm. Mittag-Leffler var uvanlig produktiv, ved siden av rene matematiske arbeider skrev han biografier over kjente matematikere.