Det første festningsverk ved Old Point Confort ble etablert i 1609 og lå der i et par hundre år. Det langt større steinfortet fikk navnet Fort Monroe (og det overforliggende Fort Calhoun på en kunstig øy på den anden siden av seilleden) ble bygger ferdig i 1834. Fortet ble navnsatt etter den amerikanske president James Monroe. Under den amerikanske borgerkrigen 1861-1865 forble Fort Monroe under Unionens kontroll, selv om det meste av Virginia ble en del av Sørstatene. Det ble et bemerkelsesverdig historisk og symbolsk sted hvor slaver som følge av regjeringens politikk ble frigitt. I adskillige år etter krigen var den tidligere president for Sørstatene, Jefferson Davis holdt i fangenskap på et område som i dag kalles som kasemattmuséet på fortet.