Non si sa molto delle origini del castello di Fénis, ma la prima testimonianza risale al 1242 quando viene acquistato dalla famiglia Challant. L’aspetto esteriore della costruzione, cosi come lo conosciamo oggi, comincia a prendere forma dal 1340 grazie agli interventi voluti da Aimone di Challant.