Après la conquête anglaise des Nouveaux Pays-Bas en 1664, le village fut rebaptisé Albany et le Fort Orange en Fort Albany. La bourgade prit un nouveau nom l'espace d'une année (1673-1674), Willemstadt, lorsque les amiraux hollandais et zélandais Jacob Binckes et Cornelis Evertsen le Jeunet reprirent momentanément la colonie à la couronne anglaise durant la Troisième guerre anglo-néerlandaise.