Fort Frederick in Port Elizabeth was die eerste permanente militêre basis aan die oosgrens van die Kaapkolonie. Waarskynlik is dit die oudste nog bestaande gebou uit die Britse koloniale geskiedenis in Suider-Afrika. Die stad Port Elizabeth het rondom die fort ontwikkel. Die doel van die fort was Britse magsvertoon in hierdie deel van die kolonie. Die Napoleontiese oorloë was in volle gang en 'n Franse landing in hierdie deel van Afrika was altyd moontlik. Ook was daar onrus onder die burgers van Graaff-Reinet na die Van Jaarsveld-rebellie. Daarby was daar juis 'n wankelrige wapenstilstand in die Derde Grensoorlog (1799–1803). Fort Frederick is gebou op 'n kop met uitsig oor die gebruiklike vasmeerplek in Algoabaai. Dit was by die mond van die Baakensrivier by 'n drif deur die rivier. 'n Blokhuis by die drif het o.a. die aanwesige varswatervoorraad beskerm. Hierdie vierkantige klipfort het sye van 24m lank en is 3m hoog. Bouwerk het in Augustus 1799 begin. Eintlik was die fort 'n kompleks van geboue: barakke, vier klein huise vir die offisiere, bakkery, magasyne, smidswinkel, timmermanswerkplaas en 'n kruithuis.