Peter Michael Falk ble født på Manhattan 16. september 1927 og vokse opp i Bronx og Ossining, NY. Hans mor Madeline Haukhauser hadde russisk bakgrunn og hans far Michael Falk hadde bakgrunn fra Polen. Peter Falk vokste opp i en bydel i New York City preget av italienske innvandrere, noe som har bidratt til inntrykket at han hadde italiensk bakgrunn. Foreldrene drev en klesbutikk. Foreldrene var jøder, men ikke særlig praktiserende. I sin selvbiografi nevnte Falk ikke noe om sin etniske bakgrunn, bortsett fra at bestemoren ble omtalt som (et tysk ord for bestemor).