Collins signerte for Celtic i 1990, og ble da deres første spiller som kostet én million pund eller mer. Han spilte hovedsakelig på venstresiden av midtbanen, og scoret 47 mål på 217 kamper. Han vant imidlertid bare ett trofé med Celtic, den skotske FA-cupen i 1995.