Han ble gift i 1943 med skuespillerinnen Carol Grace (1924–2003). De fikk to barn sammen; forfatteren Aram Saroyan og skuespilleren Lucy Saroyan.