Alrededor de 1605 Henry Howard, primer conde de Northampton, despejó un sitio en Charing Cross y se construyó una mansión, que fue conocida inicialmente como Northampton House.