Иван Гудимов родился 3 января 1908 года в селе Старые Боровичи (ныне — Сновский район Черниговской области Украины) в крестьянской семье. Окончил среднюю школу и техникум, работал агрономом в родном селе. В 1927 году Гудимов был призван на службу в Рабоче-крестьянскую Красную Армию. В 1930 году он окончил Киевскую артиллерийскую школу. С июня 1941 года — на фронтах Великой Отечественной войны. Принимал участие в боях на Западном и 1-м Украинском фронтах. Участвовал в боях под Ельней осенью 1941 года, освобождении Украинской и Белорусской ССР, Польши. C 1943 до июля 1944 года командовал 1м гвардейским самоходным полком. Был тяжело ранен, лишился глаза. К апрелю 1945 года гвардии полковник Иван Гудимов командовал артиллерией 6-го гвардейского механизированного корпуса 4-й танковой армии 1-го Украинского фронта. Отличился во время боёв в Германии.