Diesel werd geboren in Parijs als zoon van Theodor Diesel en Elise Strobel, Duitse migranten die in 1848 op de vlucht waren geslagen voor de Duitse revolutie. Vader Diesel was een goed verdienende zelfstandige leerbewerker en boekbinder. Diesel woonde in Parijs tot 1870, het jaar dat de Frans-Pruisische oorlog uitbrak. Op 28 augustus van dat jaar werd het bevel afgekondigd dat iedereen die niet van Franse afkomst was, het land moest verlaten. Het gezin Diesel verliet daarop begin september Parijs, en vertrok naar Londen.