Иван Пименов родился 25 января 1917 года в деревне Корытово (ныне — Вологодский район Вологодской области). После окончания неполной средней школы работал сначала в колхозе, затем на железной дороге. В 1938 году Пименов был призван на службу в Рабоче-крестьянскую Красную Армию. Участвовал в боях на реке Халхин-Гол. С сентября 1941 года — на фронтах Великой Отечественной войны. В боях был четыре раза ранен и один раз контужен. В 1942 году окончил бронетанковые курсы.