Han tilhørte slekten Juel fra Skoger og var sønn av proprietær, skipsreder og lensmann i Skoger Anders Juel og Sara Marthine Fegth, datter av trelasthandler Jacob Fegth (1761–1834). Han var oppkalt etter sin onkel Iver Fegth (1798–1816). Som barn hadde han, hans søsken og en del av hans fettere og kusiner dikteren Hans Hanson som huslærer.