Han vokste opp på Østre Julan i Lånke som sønn av gårdbruker Olaf Jullum og hustru Johanna Pedersdatter Dybvad. Moren døde da han var åtte år gammel, og faren giftet seg noen år senere på nytt med lærerinne Pauline Grinde. Farsslekten hadde «utpregede historiske og politiske interesser». Faren var ordfører i Lånke, og farfaren og oldefaren satt i herredsstyret. Farfarens bror Ole Jullum var lærer, kjøpmann og stortingsmann for Kristiansund. Iver Jullum giftet seg i 1938 med Gunbjørg Stokkhaug.