I 1886 flyttet familien til Hernes ved Bodø. Alle søskene var aktiv i byens musikkliv, og Fridthjov vokste opp i et godt musikkmiljø. Fridthjov begynte tidlig å spille orgel, og faren kjøpte også et piano mot slutten av 1880-årene.