Aasmund Nordstoga kommer fra en musikalsk familie. Han er bror av Odd Nordstoga. Moren Ellen Nordstoga er folkesanger og faren Olav Nordstoga er tekstleser og kåsør. Sammen har de gitt ut platen med tekster av Aasmund Olavsson Vinje. Aasmund Nordstoga er også i slekt med organist og domkantor Kåre Nordstoga, som opprinnelig er fra Notodden.