Den første kolonister fra Virginia-kompaniet ankom med 3 skip anført av kaptein Christopher Newport og kaptein John Smith til området i 1607 hvor de grunnla den første engelske bebyggelse i Nord-Amerika. Bebyggelsen ble anlagt ved Jamestown ved bredden av James River et stykke inne i landet. Ved deres første utforskning av området innså kolonistene den strategiske betydning av området ved Old Point Comfort i forsvaret av kysten. De bygde først Fort Algernourne (1609-1612), der hvor Fort Monroe ligger i dag. Det antas at det har vært et trekantet palisadefort, lik fortet ved Jamestown. Fort Algernoure brant i 1612. Et nytt fort, som kun er kjent under navnet «Det gamle fort ved Old Point Comfort» ble bygget i 1632. Det ble ødelagt av en orkan i 1667. I 1728 ble Fort George bygget på stedet. Dets mursteinsmurer ble ødelagt av en orkan i 1749, men trebygningene inne i fortet kunne fortsatt brukes av en mindre styrke frem til, i alle fall 1775. I 1781, under beleiringen av Yorktown etablerte den franske Vestindia-flåde et batteri på ruinene av Fort George. Gjennom koloniperioden var fortets kanoner bemannet fra tid til annen.