I 1876 kom han inn på lærerseminaret på Hamar og ble uteksaminert i 1878 med gode karakterer. Bestyreren skulle likevel ha sagt at han var usikker på om det var tilrådelig å la denne Fosse bli lærer. . Ivar Fosse fikk likevel lærerpost i Søre-Lia og arbeidet som lærer der i 20 år.