Robertson tjenestegjorde i den amerikanske handelsflåten under andre verdenskrig, før han ble innmakulert ved Antioch College i Ohio. Han droppet ut kort tid senere for begynne som journalist. I 1957 giftet Robertson seg med skuespiller Jack Lemmons ekskone, Cynthia Stone. De fikk datteren Stephanie sammen, før de ble skilt i 1959. I 1966 giftet Robertson seg med Dina Merrill. De fikk datteren Heather sammen, før de ble skilt i 1989. Datteren Heather døde av kreft i 2007.