Durante la ocupación napoleónica, fue reputado ante la opinión pública de afrancesado por parte de los realistas españoles, y de colaboracionista por parte de un diario de Barcelona, actitud sin embargo desmentida por su sobrino Félix Torres Amat y por él mismo, pero lo cierto es que fue nombrado Obispo de la diócesis de Osma en 1810 por José Bonaparte, cargo que, según sus declaraciones ulteriores, dijo rehusar.