12月16日，拿破仑三世出席了费里耶尔城堡的开幕典礼。詹姆斯男爵收购大量艺术品和雕像，用于装饰城堡的众多房间。1870年至1871年普法战争期间，费里耶尔城堡被德国占领，是北德意志邦联首相奥托·冯·俾斯麦和法国外交部长朱尔斯·法夫尔的谈判地点。第二次世界大战中，德国人占领法国期间，再次占领费里耶尔城堡，这一次还掠夺了丰富的艺术收藏品。城堡一直空置，直到1959年盖伊·罗斯柴尔德和他的新妻子玛丽-埃莱娜·罗斯柴尔德着手整修。从1959年起，他们定期在城堡举行派对，主题由伊夫·圣洛朗等艺术家和设计师亲自