Fritz Pfeffer ble født i Gießen i en søskenflokk på fem; han var sønn av Ignatz Pfeffer og Jeannette Hirsch-Pfeffer. Foreldrene drev en tekstil- og klesbutikk på marketsplassen i byen og bodde i en leilighet over butikken. Etter skolen ble han tannlege i Berlin. Han giftet seg med Vera Bythiner i 1921, men forholdet resulterte i skilsmisse allerede i 1932. Sammen fikk de én sønn, Werner Peter Pfeffer.