Su abuelo, Ole, fue uno de los primeros inmigrantes noruegos en Estados Unidos llegando a Wisconsin en 1847, se casó y tuvo 11 hijos en Grand Rapids (hoy en día Wisconsin Rapids), incluyendo James W, padre de Grim, y Joseph, quien fue el padre de la famosa Mildred Natwick.