John Austrheim ble født på gården Austrheim vest for Sandane. Han var eldste sønn av gardbruker Anders J. Austrheim (1882–1977) og Malene Sande (1884–1968). Tradisjonen tro fra bygdene på Vestlandet tok han sin fars fornavnsinitial som mellomnavn. Dette var for å skille seg fra andre John Austrheim i bygda. Austrheim gikk på Nordfjord folkehøgskule fra 1932–1933.