Fra 1948 til 1953 var han gift med skuespilleren Viveca Lindfors. De fikk sønnen Kristoffer Tabori sammen.