Натомість на клубному рівні Грошич став виступати за новостворений клуб «Гонвед», який опинився під опікою угорської армії і швидко став панівним у країні. Разом зі своїм клубом він став чемпіоном Угорщини у 1950, 1952, 1954 і 1955 роках, а також у цей час він вдруге був заарештований. Цього разу Грошич був звинувачений у шпигунстві і зраді, що пов'язують із сенсаційною поразкою збірної у фіналі чемпіонату світу 1954 року, через що вдруге на певний термін був відсторонений від футболу — протягом 15 місяців він не мав права не те що виходити на поле або навіть тренуватися, а й отримав заборону з'являтися на всіх існуючих на території Угорщини спортивних спорудах. Повернувшись до футболу, в 1956 році взяв участь з «Гонведом» в другому розіграші Кубка європейських чемпіонів. У другому раунді йому в суперники потрапив «Атлетик» з Більбао. Першу виїзну гру, яка відбулася 23 листопада, «Гонвед» програв з рахунком 2:3. За місяць до цієї дати, 23 жовтня, в Будапешті відбулось Угорське повстання проти радянського режиму, яке у листопаді було жорстко придушене радянськими військами. В результаті виїхавши до Іспанії на єврокубкову гру футболісти «Гонведа» не стали відразу повертатися на батьківщину і вирішили зіграти матч-відповідь в Брюсселі. Нічия 3:3 принесла загальну перемогу іспанцям і «Гонвед» вилетів з турніру.