Fue construido como la residencia madrileña del arzobispo de Toledo, del que dependía eclesiásticamente la ciudad, a instancias del cardenal-infante Luis Antonio de Borbón y Farnesio y del cardenal Francisco Antonio de Lorenzana.