9 липня 2011 року підписав чотирирічний контракт з «Селтіком», сума угоди склала 900 тисяч фунтів. У клубі він вибрав ігровий номер «67», на честь перемоги «кельтів» у фіналі Кубка Європейських Чемпіонів 1967 року. Він став першим кенійцем в історії команди. Ваньяма дебютував у складі «кельтів» 21 серпня 2011 року в матчі проти «Сент-Джонстона» (0:1). В новій команді Ваньяма грав у центрі оборони, а не на своїй основній позиції хавбека. 29 вересня Віктор дебютував у Лізі Європи у матчі проти «Удінезе» (1:1). 10 грудня Віктор забив свій перший гол за «Селтік» на «Селтік Парк», ударом з 25 ярдів вразивши верхній кут воріт клубу «Гарт оф Мідлотіан»..