Stedsnavnet St. James er avledet av et sykehus for spedalske som var viet til helgenen sankt James, på norsk apostelen Jakob den yngre (sønn av Alfaios). Stedet for sykehuset er nå dekket av St. James's Palace, et av eldste palasser i England. Området er uformelt kjent som «klubblandet» grunnet den historiske tilstedeværelsen av herreklubber.