Huset var tidligere bosted for rektor i Chelsea menighetskirke, Chelsea Old Church (bygget 1157), inntil den større St Luke's Church ble innviet i 1824. Rektor i den perioden (1805-1824) var George Valerian Wellesley, bror av Arthur Wellesley, 1. hertug av Wellington. Slaget ved Waterloo i 1815 ble planlagt i haven.