Gata har navn etter Henry Jermyn, jarl av St Albans, som leide grunn av kronen i dette området på 1600-tallet. Jarlen hadde planer om å bygge opp en liten by omkring St James's Square.