Som barn ble Huber rammet av difteri, og som følge av komplikasjoner slet han resten av livet med talefeil og bevegelseshemninger. Likevel utviklet han seg til en entusiastisk turgåer og betydelig taler. Traute Lafrenz i Den hvite rose sa at hun aldri hadde hørt noen formulere seg så presist. Hans store forbilde var filosofen Leibniz. Huber studerte også folkesanger, inkludert koran-sanger og indisk folkemusikk, og bygget opp arkivet for folkesanger i Berlin. Imidlertid ville han ikke arbeide der, da han ikke ønsket å komponere kampsanger til det nazistiske studentforbundet. Heller ikke kunne han få noen lærestol andre steder i Berlin. Hans kone Clara sa at han hadde fått beskjed om at man bare ansatte professorer som også kunne være offiserer, noe Huber ikke dugde til med sitt handikap.