En 1955 Dowling se casó con el productor cinematográfico Ivan Tors, con quien tuvo tres hijos: Steven, David, y Peter Tors, así como un hijo adoptivo, Alfred Ndwego de Kenia.