Etter å ha spilt rundt 90 seriekamper for West Ham dro han i 1997 videre til den skotske klubben Celtic FC, hvor han også var delaktig i klubbens triumf i Scottish Premier League i 1998. Under VM i fotball 1998 spilte han alle Danmarks kamper, og scoret sågar et mål mot i det innledende gruppespillet. Etter å ha kun spilt én sesong for Celtic ble Rieper tvunget til å gi seg som fotballspiller på grunn av fotskade i 1998, og han la offisielt opp som spiller i 2000.