Celtic ble stiftet i november 1887, og det første Celtic Park lå på det nordøstlige veikrysset Springfield Road og London Road i Parkhead på en leid tomt fra 1888, hvor det første stadionet ble bygget på dugnad i løpet av seks måneder. Åpningskampen var mellom Hibernian og Cowlairs. Celtic spilte sin første kamp her 28. mai 1888 mot Rangers, en kamp hjemmelaget vant 5–2. Den første internasjonale kampen var en British Home Championship-kamp mellom og 28. mars 1891. mini|left|Fra kampen mellom og på Celtic Park 7. april 1894 under det britiske mesterskapet Da landeieren økte den årlige tomteleien fra £50 til £450 i 1892, måtte klubben flyttet til et nedlagt teglverk, ca. 200 meter fra den tidligere banen. Denne tomten ble utviklet til en oval formet arena med hovedsakelig skrånende ståtribuner. Hovedtribunen ble tegnet av Archibald Leitch, og han har designet hjemmebanene til Rangers, Sunderland og Everton, tilsammen rundt 20 baner i Storbritannia. Gressmatten på det nye stadionet ble importert fra det irske grevskapet Donegal av den irske nasjonalisten Michael Davitt og plantet med shamrocks. Den nye banen åpnet 20. august 1892. Det nye anlegget ble en umiddelbar suksess. En journalist skrev at flyttingen var som å «dra fra gravlunden til å komme inn i paradiset» («leaving the graveyard to enter paradise», noe som førte til at banen fikk kallenavnet «Paradise». Åpningskampen på det nye stadionet var en kamp mellom Celtic og Renton 20. august 1892.