Ils font construire un important château fort de style anglo-saxon sur la colline qui domine Arlay et le château actuel, sur l’emplacement d'un ancien oppidum gallo romain (les débuts de travaux du château fort seraient attribués à Girart de Roussillon au ). ()