Klubben ble stiftet 10. september 1905 av arbeidere ved utstillingsbygningen The Crystal Palace, og spilte opprinnelig deres hjemmekamper på banen i nærheten av bygningen. Utbruddet av første verdenskrig førte til at kjøpte bygningen tilbake, og i 1915 ble klubben tvunget til å flytte til Herne Hill, som var hjemmebanen til West Norwood F.C. I 1918 flyttet deretter klubben hjemmebane til The Nest, som tidligere hadde vært hjemmebanen til Croydon Common F.C. Siden 1924 har klubben spilt sine hjemmekamper på Selhurst Park.