Whitford estuvo casado con la actriz Jane Kaczmarek (en junio de 2009 presentaron los papeles del divorcio), más conocida por su rol de Lois en "Malcolm in the Middle".