Navnet kommer fra det første huset som ble reist på stedet. Det hevdes at bakgrunnen for stedsnavnet er at eieren, den skotske silkehandleren William Sanderson, på begynnelsen av 1800-tallet kalte huset for Anerley (senere Anerley Lodge), på hans skotske dialekt et ord som betydde «ensom». Flere skrivemåter har blitt brukt, både Annerley, Anerley og Anerly; Sanderson ser ut til å ha brukt alle de tre formene om hverandre. Veien ved huset kom etter hvert til å bli kjent som Anerley Road, noe som også ga navn til det omliggende området.