Los abuelos paternos fueron José Luis Torres Vildósola y Cayetana María de Urquijo, a pesar de lo afirmado por algunos de sus biógrafos, ya que aparece reflejado en la partida de bautismo.