Byen bygget opp rundt havnen som ble etablert i 1828. Området ble en politiområde i 1863 og Invergordons rådhus sto ferdig i 1871.