La seconda guerra mondiale ha lasciato un segno indelebile nella storia di Agay. I tedeschi distrussero infatti il castello e diedero alle fiamme l'intera Estérel per disboscare la macchia che la ricopriva. Successivamente, prima dello sbarco alleato in Provenza, i bombardamenti miranti alla distruzione del viadotto di Anthéor radono al suolo la maggior parte degli edifici e la cappella di Agay.