Перейшовши за 2,75 мільйона фунтів у «Селтік», Томпсон став одним з перших придбань нового головного тренера «кельтів» Мартіна О'Нілла. Томпсон також став важливою фігурою і у цьому клубі, виступаючи поруч із такими зірковими гравцями як Генрік Ларссон та співвітчизник Кріс Саттон. У першому ж сезоні Томпсон став чемпіоном Шотландії, випередивши на п'ятнадцять очок «Рейнджерс», головного історичного конкурента. Він також виграв у тому сезоні з командою Кубок Шотландії та Кубок шотландської ліги, хоча і не грав не в фіналі останнього турніру. Томпсон забив багато важливих голів для «Селтіка», в тому числі аж сім разів відзначався у воротах «Рейнджерса» у знаменитому дербі «Олд Фірм», при цьому два з цих голів стали переможними. Він також забив єдиний гол у ворота «Данді Юнайтед» в фіналі Кубка Шотландії 2005 року, завдяки чому «Селтік» здобув черговий Кубок. Окрім того, що Томпсон грав у багатьох фіналах національних кубкових турнірів, Алан зіграв і у фіналі Кубка УЄФА 2003 року, який завершився поразкою 2:3 у додатковий час від «Порту». Алан Томпсон залишався основним гравцем «Селтіка» до кінця сезону 2004/05, але після приходу Гордона Стракана на посаду нового головного тренера «Селтіка» кількість хвилин на полі для Алана зменшилась. Це в кінцевому підсумку призвело до його відходу з клубу в січні 2007 року. За «Селтік» Алан Томпсон зіграв загалом 227 ігор у всіх турнірах, забивши 51 гол і допоміг команді здобути дев'ять національних трофеїв.