Calhern estuvo casado cuatro veces, con Ilka Chase de 1926 a 1927, con Julia Hoyt de 1927 a 1932, con Natalie Schafer de 1933 a 1942, y con Marianne Stewart de 1946 a 1955.