Schon im 4. Jahrhundert bestand nach Forschungsergebnissen an der Stelle des heutigen Cherbourg ein befestigtes spätrömisches Castrum mit dem Namen "Coriallo" oder "Coriovallo", das im Rahmen des "Litus Saxonicum" aufgebaut wurde. Der Name "Coriallo" änderte sich in "*Ċiriċeburh" „Dorf der Kirche“ in altenglischen zur Zeit der Völkerwanderung oder der Wikinger. Das genaue Gründungsdatum des Schlosses von Cherbourg ist unbekannt, aber 1026 ist es in einer Urkunde als eines der bedeutendsten der damaligen Zeit erwähnt. 1066 wird ein Graf Gerbert von Cherbourg im Heer Wilhelms des Eroberers bei Hastings genannt. Als König Stephan 1139 im Kampf um die Bewahrung seiner Herrschaft im anglo-normannischen Reich in die Normandie einfiel, konnte er Cherbourg erst nach zweimonatiger Belagerung einnehmen. Gottfried von Anjou bemächtigte sich der Stadt 1142 wieder und seine Gattin, die frühere Kaiserin Matilda, gründete hier drei Jahre später die Abtei Notre-Dame du Vœu. König Philipp II. August von Frankreich nahm Cherbourg während seiner Eroberung der Normandie im Jahr 1204 kampflos und erteilte dem Ort das Recht des Handels nach Irland. 1284 und 1293 wurde die Stadt geplündert und niedergebrannt, doch ihre Burg, in der sich die Einwohner verschanzt hatten, widerstand den Angriffen. Philipp IV. befestigte daraufhin 1300 Cherbourg stärker. Anfang des 14. Jahrhunderts waren somit Schloss und Stadt mit einem Ring starker Mauern umgeben.