Selon des historiens locaux, le site de Canisy a été le siège d'un château féodal, dont l'origine pourrait remonter du temps des Vikings. Rien ne permet d'affirmer à ce jour que la motte ait été située à l'emplacement de l'actuel château. Un seigneur de Canisy, Hugues de Carbonnel, aurait accompagné Guillaume le Conquérant lors de la conquête de l'Angleterre, et se serait fixé en ce lieu. Les Carbonnel, se seraient installés à Canisy dès le . Des vestiges datés de cette époque sont encore visibles dans la tour ronde fortifiée du château et dans le corps de logis, attestant son implantation ancienne. Quoi qu'il en soit les Carbonnel et leurs descendants occupèrent le château sans interruption jusqu'à la fin du .