Filip erstattet Oliviares i 1643 med Don Luis Méndez de Haro, som ble i stillingen fram til sin død i 1661. Etter dette hadde ikke Filip noen favoritter, men brukte ofte nonnen Maria de Ágreda som rådgiver, som han brevvekslet med både om spirituelle problemer og statlige problemer.