Apsley House ble bygget i perioden 1771-1778 for Lord Chancellor Henry, 1. Baron Apsley, av en av datidens sentrale arkitekter, Robert Adam (1728–92). Apsley House var det første huset på nordsiden av Piccadilly, beliggende like ved en tollvei. Huset ble således kjent som Number One, London. Robert Adam ferdigstilte bygningen i 1778, til en kostnad på 10 000 pund. I 1807 kjøpte Richard, Marquess Wellesley (1760–1842), Duke of Wellingtons eldre bror, huset av den tredje jarl av Bathurst for 16 000 pund. Wellesley brukte over 20 000 pund på nye møbler og oppussing før han og familien flyttet inn i 1808.