Johan Austbø var sønn av bonde og bygningsmann Hans Einarson Østerbø og Sigrid Botolfsdatter Måren, og er farfar til pianisten Håkon Austbø, morfar til musikkformidler og politiker Veslemøy Fjerdingstad og oldefar til fotografen Frode Fjerdingstad og til billedkunstner Bård Ask.