Ivan Mezhlauk ble født 30. september 1891 i Kharkiv, i det nåværende Ukraina, men den gang tilhørende Det russiske keiserdømmet. Hans familie var fra Latvia. Han meldte seg inn i Det russiske arbeiderpartiet (bolsjevikene) i 1918 og gjorde tjeneste i Den røde armé under den russiske borgerkrigen.