С июня 1941 года — на фронтах Великой Отечественной войны. Первоначально был механиком-водителем танка, участвовал в битве за Москву. В 1942 году Вергун окончил Харьковское танковое училище, после чего был испытателем танков на Сталинградском танковом заводе. Принимал участие в Сталинградской и Курской битвах. К августу 1943 года капитан Яков Вергун был заместителем начальника штаба 181-й танковой бригады 18-го танкового корпуса 5-й гвардейской танковой армии Воронежского фронта.