Fossum var en markant leder i lokalpolitikken på første halvdel av 1890-tallet, men han mistet mye av sin innflytelse etter en høyredreining blant velgerne rundt midten av Tiåret. Ved valget i 1894 mistet han plassen på stortinget, og året etter ble han heller ikke gjenvalgt til herredstyret på Øvre Eiker.