Antes de la construcción del palacio, los terrenos estaban ocupados por solares vacíos y fabricas de tejas ("tuiles" en francés), todos ellos situados fuera de la murallas que Carlos V había mandado construir durante la segunda mitad del siglo XIV (ver Enceintes de Paris, en francés).