Pflimlin var sønn av en tekstilfabrikant og stammet fra en gammel, elsassisk familie. Han vokste opp i Mulhouse, hvor hans far drev et spinneri. Pflimlins morsmål var fransk, men han behersket tysk flytende.