Когда Новые Нидерланды были захвачены англичанами в 1664 году, название было изменено на Олбани, в честь Якова II, герцога Олбани. Голландцы на короткий период восстановили контроль над городом в августе 1673 г. и переименовали его в "Виллемштадт", но в 1674 году Вестминстерский договор окончательно отдал территорию англичанам. С 1 ноября 1683 года провинция Нью-Йорк была разделена на округа, крупнейшим из которых стал округ Олбани. В то время округ включал весь нынешний штат Нью-Йорк к северу от округов Датчесс и Олстер, а также современный округ Беннингтон, штат Вермонт, теоретически простираясь на западе до Тихого океана. Олбани был официально признан городом губернатором провинции Томас Дунганом 22 июля 1686 года. Устав Дунгана был практически идентичен по своему содержанию уставу города Нью-Йорк, который Дунган утвердил тремя месяцами ранее. Население Олбани на тот момент составляло около 500 человек.