Phil Perlo ble født 6. desember 1935 i Washington, D.C. til Abraham Perlo og Eva Orleans Perlo. Han giftet seg senere med Sue Gwen Ginsberg Perlo.