Gösta Mittag-Leffler var sønn av riksdagsmannen Johan Olof Leffler og Gustava Wilhelmina Mittag. Slekten Leffler er en invandret borgerslekt fra Breslau, kjent fra 1300-tallet. Hans søster Anne Charlotte Leffler (1849–1892) var forfatter, broren Leopold Fredrik Alexander Leffler (staves: Läffler) (1847–1921) en kjent dialektforsker og fonetiker.