Den sørvestlige delen av Fitzrovia ble utviklet av hertugen av Newcastle som etablerte Oxford Market, nå en del av området rundt Market Place. Innen begynnelsen av 1800-tallet var det tett bebyggelse der. En av hovedveiene gjennom området, Marylebone Passage, hadde blitt kappet av slik at bare en liten del eksisterer i det som nå heter Wells Street.