Иван Немцов родился около 1665 года. Происходил из северодвинских крестьян. Вместе со своим братом Ильёй с малых лет работал на постройке различных поморских судов и уже в конце XVII века он славился на Севере как искусный строитель ботов и иных мореходных промысловых судов. Зимой 1696 года архангельский воевода Ф. М. Апраксин направил Ивана Немцова вместе с братом в Воронежское адмиралтейство на строительство галер для второго Азовского похода Петра I. Государь Пётр I назначил Ивана Немцова солдатом первого капральства бомбардирской роты Преображенского полка.