Se enfrentó a un caso judicial, Juicio de Residencia, en el que fue acusado de uso ilegal de mano de obra indígena en sus fábricas textiles —lo que estaba prohibido desde 1601—y que se valía del puerto de Santander para traer contrabando inglés.