La mansión fue inicialmente propiedad del Lord Chancellor lord Apsley, al que debe su nombre.