Sería su esposa Isabel de Braganza quien impulsó la recopilación de muchos cuadros para el futuro museo.