Dès le haut Moyen Age, une forteresse défendait le passage de la Somme à cet endroit. Le château joua un rôle non négligeable pendant la guerre de Cent Ans : Édouard III y fut tenu en échec en 1346 avant la Bataille de Crécy. Sous Charles V, les Anglais boutés hors d'Abbeville y trouvèrent refuge, mais ils en furent chassés aussitôt par Guy de Luxembourg-Saint-Pol.