El edificio se construyó en el lugar que ocuparon las casas de los marqueses de Pozas, a quienes el rey se las compró, debido a su cercanía al Real Alcázar, ya que así los reyes podían entrar directamente a la iglesia mediante un pasadizo existente.