Roku 1391 koupil středověkou tvrz Ludvík, kníže z Orléans, bratr Karla VI. Poté, co byl kníže zavražděn, uchýlila se do Blois vdova po něm, Valentina Milánská. Po ní stavbu zdědil její syn, básník Karel z Orléans, jenž byl vězněn po bitvě u Azincourtu a strávil 25 let jako rukojmí v Anglii. Následně se vrátil do svého oblíbeného Blois a tvrz nechal částečně přestavět na pohodlnější obydlí. V období vlády Karlova syna, krále Ludvíka XII., se Blois se stalo oblíbenou královskou rezidencí. Na počátku 16. století král zahájil rekonstrukci hlavní vstupní části a nechal založit italskou zahradu na místě terasovitě členěného podhradí, která se rozkládala na současném Náměstí Victora Huga a na místě železničního nádraží. Poslední zbytky zahrady byly zničeny roku 1890 při výstavbě ulice Victora Huga.