Charlton er også hjemstedet til fotballklubben Charlton Athletic FC, som har sin hjemmebane på The Valley, et tidligere kalkbrudd nord for Charlton Village. En annen idrettsklubb i området er den gamle og ærverdige Blackheath Rugby Club.