Mantiene una fortísima rivalidad con otro equipo de la ciudad, el West Ham United, con quien ha disputado más de cien partidos desde 1899, en lo que se conoce como el "derbi del sur y el este de Londres".