Istana ini mula dibina William si Penakluk sedasawarsa selepas menakluk England pada 1066, William mengasas tapak suatu busut berbenteng ("motte and bailey") sekitar dengan jarak sehari perjalanan – sekitar  – dari London agar memudahkan pergerakan segera, lagi-lagi bila ia berdekatan Sungai Thames yang utama menuju kota tersebut serta Hutan Windsor yang pernah dimiliki raja-raja Saxon. Istana ini tidaklah dijadikan semayaman diraha pada asalnya kerana raja-raja ini lebih menggunakan istana semayam Edward the Confessor di Old Windsor. Henry I penghuni pertama istana ini, baginda turut beristeri dengan Adela puteri Godfrey tahun 1121.