9 июля 2011 года подписал четырёхлетний контракт с «Селтиком», сумма сделки составила 900 тыс. фунтов стерлингов. В клубе он выбрал игровой номер «67», в честь победы «кельтов» в финале Кубка европейских чемпионов в 1967 году. Он стал первым кенийцем в команде. Ваньяма дебютировал в составе «кельтов» 21 августа 2011 года в проигранном со счётом 0:1 матче против «Сент-Джонстона». Он играл в центре обороны, а не на своей любимой позиции хавбека. Он вышел на замену в конце выигранного со счётом 4:0 матча против «Мотеруэлла», а затем весь второй тайм матча Кубка шотландской лиги против «Росс Каунти», выигранного «кельтами» со счётом 2:0. 29 сентября он дебютировал в Лиге Европы в матче против «Удинезе» (1:1). 10 декабря Виктор забил свой первый гол за «Селтик» на «Селтик Парк», ударом с 25 ярдов поразив верхний угол ворот «Харт оф Мидлотиан».