Familien flytta fra Bremanger til Fana i 1920. Nesje ble uteksaminert fra Hamar lærerskole i 1946 og var lærer i Hemnesberget fra 1946. Han var lærer i Oslo fra 1950, skoleinspektør i Frogn fra 1957 og ble skolesjef i Frogn fra 1962. Fra 1969 til 1971 hadde han et opphold i Zambia for Norad. Han satt som interimsleder i Norsk skolesjeflag i omtrent et halvt år etter stiftelsen i 1977 til Petter Meinich ble valgt av den første generalforsamlingen i november samme år. Nesje fortsatte som styremedlem i organisasjonen.