Le site a été colonisé pour la première fois vers 1759, l’année où le gouverneur colonial Thomas Pownall a achevé le fort qui porte son nom sur Fort Point. La défense était destinée à garder l’embouchure de l’estuaire de la rivière Penobscot pendant la guerre contre les Français et les Indiens. Fort Pownall a été brûlé en 1775 et 1779 par les Britanniques eux-mêmes, pour éviter qu’il ne tombe entre les mains des rebelles américains.