L'any 1562, per ordre del rei Felip II, al vessant sud de la serra, a 603 m d'alçària,va ser construït el "Fort de Bèrnia". La finalitat de l'edificació era, d'una banda, la prevenció de les revoltes dels moriscos i, de l'altra, la defensa de la costa contra els sobtats atacs dels pirates barbarescs. Des d'allà es pot controlar visualment la línia costanera des d'Altea fins al cap de Santa Pola i més enllà fins al mar Menor, ja en terres murcianes. La visió es completa, per l'altra banda de la serra al vessant nord, des d'on s'albira la zona compresa entre el Montgó i el cap de la Nau a Xàbia fins als voltants de Calp, així com una vista parcial del golf de València que enfila la costa d'Oliva i Pego, i en un dia clar, l'illa d'Eivissa. S'ha conjecturat que el túnel de Bèrnia s'hauria aprofitat per a comunicar amb facilitat les dues perspectives de guaita i millorar així el valor del fort. La victòria en la Batalla de Lepant contra l'Imperi Otomà el 1571, patró i instigador de pirates, i la posterior expulsió del moriscos el 1609, deixaren sense valor militar el fort, que va ser abandonat i enderrocat el 1612 per evitar que fos utilitzat per bandolers.