Falleció en Arenas de San Pedro el 7 de agosto de 1785; no se respetó su deseo de que sus restos mortales descansaran en su palacio de Boadilla, y fue enterrado en el panteón de los Infantes del monasterio de El Escorial, bajo una lápida en la que se apoya una corona de conde, al fin y al cabo lo que fue.