Renard de Trie, seigneur de Fontenay, vend en 1383 son manoir à Jean Hutin Le Baveux, époux de Jacqueline de Vieuxpont. Leur fille Jeanne l'apporte en dot à Robert d' Ô, sénéchal du comté d'Eu. De sa mort à la bataille d' Azincourt en 1415 jusqu'à celle de "François d'O" en 1594, la seigneurie reste la propriété de la famille. Incendié en 1425 par les Anglais, le château est reconstruit quelques décennies plus tard sur les soubassements du château primitif. Aux XVe et XVIe siècles, un château dans le goût de l’époque est édifié sous l’impulsion de Jean d’Ô, troisième du nom, époux d’Hélène d’Illiers. Son fils, François mignon d’Henri III et surintendant des finances, contribue à l’agrandir. Il meurt sans descendance et couvert de dettes.