Mye av Port Chalmers ligger på en liten kupert halvøy i den nordlige enden av det som er et stort tørrlagt område som nå er området for Dunedins containerhavn. Nær den sørøstlige kysten av denne halvøya ligger øyene Quarantine Island/Kamau Taurua og Goat Island/Rakiriri, som ligger ovenfor havnen, mellom Port Chalmers og Otago-halvøya. Før den lokale omorganiseringen i 1980-årene bestod Port Chalmers av det sentrale området Roseneath, Sawyers Bay, Aramoana og en rekke andre forsteder. De omkringliggende landsbyene Long Beach, Purakanui og flere andre mindre nærliggende landsbyer og gårder var også en del av Port Chalmers.