Belfast Celtic ble stiftet 14. mars 1891, med skotske Celtic FC som forbilde. Opprinnelig het klubben bare Celtic, men da den ble omdannet til aksjeselskap i 1901, måtte den ta med i navnet, siden Celtic i Skottland allerede var registrert. Etter noen år i ligaer på lavere nivå ble Belfast Celtic tatt opp i den irske ligaen i 1896, og etter å ha startet ligahistorien med sisteplass den første sesongen, bygde klubben seg opp til å vinne sitt første ligamesterskap i sesongen 1899/1900. I 1901 fikk Belfast Celtic endelig en permanent hjemmebane, Celtic Park nær krysset der Donegall Road munner ut i Falls Road.