Ingresó entonces, por orden de su padre y con dieciséis años cumplidos, en el Seminario de Nobles de Madrid, según cuenta, «con todo el desenfreno de un francés y toda la aspereza de un inglés», ya que su padre quería corregir en él las costumbres y la religión y prepararle para un empleo de covachuelista, que detestaba; a ese fin fingió sentir inclinación por ser jesuita, sabedor de que su padre odiaba a los de la Compañía, y le sacó de allí; intentó persuadirle entonces de que lo que le gustaba era la carrera militar, lo que tampoco placía a su padre; se valió de estos tormentos para que su padre le devolviera a Europa y, entre los dieciocho y los veinte años, vivió de nuevo en París y en Londres, hasta que le llegó la noticia de la muerte de su padre en Copenhague (1761).