Para este propósito, en septiembre de 1672, se había decidido que un esclavo de cada ocho participara en la construcción del edificio defensivo, que fue finalizado en 1704 bajo el nombre de Fort James.