Han vokste opp på slektsgården Toven på Eidsøra i Nesset. Han gikk på landbruksskolen på Gjermundnes, og ble ansett som en belest og allsidig interessert mann. Knut Toven fikk skjøte på gården etter faren i 1928. Som bonde ble han respektert for å ha drevet frem gården «til en av de beste i fylket».