Richard Passman var sønn av Matthew og Ethel Passman. Faren var deleier i et forsikringsselskap.