El palacio fue la residencia principal del infante don Luis desde 1765 hasta 1776, año de su matrimonio morganático con María Teresa de Vallabriga, tras el cual se trasladó al palacio de la Mosquera, en Arenas de San Pedro.