Passer ble 4. mars 1950 gift med skuespillerkollegaen Sigrid Horne-Rasmussen. Paret fikk en datter. I mai 1956 ble de separert, og i 1959 fikk de innvilget skilsmisse. Etter et forhold med sangerinnen Inge Østergaard ble han sammen med skuespillerinnen Judy Gringer, som han møtte på ABC Teatret. De levde i samboerskap til 1963. Samme år flyttet Passer sammen med reklametegneren Hanne Bjerre Pedersen. De fikk en datter i 1966 og giftet seg i 1970. Også dette ekteskapet endte i skilsmisse, i 1976. Passer flyttet samme år sammen med Bente Askjær.