Debido a la importancia del asentamiento, por orden del Rey Felipe II de España se erigió en 1595 el Castillo de San Lorenzo Real del Chagres, en una escarpada colina justo en la desembocadura del río y protegería tanto al pueblo como al río; sin embargo, dicho fuerte fue tomado por el corsario inglés Francis Drake en 1596 y destruido por el pirata inglés Sir Henry Morgan en 1671 cuando tomó la ciudad y avanzó hacia la ciudad de Panamá.