Site de l'importante cité gallo-romaine de Juliobona, Lillebonne devient au un des lieux préférés des ducs de Normandie, dont Guillaume le Conquérant, qui y présida plusieurs conciles dont notamment celui ou fut décidé la conquête de l'Angleterre. C'est Guillaume qui construisit le premier château. C'est probablement , qui rajouta la grande salle romane, ressemblant à la salle de l'Échiquier du château de Caen.