Han var sønn av dr. jur. og dr. med. Peder Alfsen og Anne Jacobsdatter Wulf. I 1631 ble faren utnevnt til lagmann i Trondhjem, som han tiltrådte i 1632. Iver begynte deretter på skole i Trondhjem. 1644–46 studerte han i Leiden, hvor han utga , en slags håndbok i retorikk, som vant meget bifall. Etter hjemkomsten ble han 1647 kapellan i Fron i Gudbrandsdalen. I 1651 ble han sogneprest i samme menighet. I 1661 ble han utnevnt til prost i Gudbrandsdalen prosti.