Hans Willie Brimi ble født 22. desember 1917 på slektsgården Nordre Brimi, Garmo, i Ottadalen. Moren var Anna Marie Brimi. Faren Carl William Brimi var født i Chicago og kom til Vårdalen 11 år gammel. Farmoren var født i Chicago der hun var musiker og tok med seg pianoet sitt fra Chicago til Ottadalen. Morfaren og onklene på morssiden spilte fele. Hans Brimi hørte folkemusikk fra tjenestefolk på gården, blant andre Mari Eklebakken som formidlet mange sanger. Hans W. Brimi begynte å spille fele som guttunge, 9 år gammel ifølge ham selv. Han hadde ingen formell utdanning og lærte slåttene etter hukommelsen. Ola Moløkken i Ottadalen var en viktig læremester.