Som mange på Skotfoss på begynnelsen av 1900-tallet var Skilbred av delvis svensk herkomst. Foreldrene var Knut Skjelbred (fra Skjelbred i Solum) og den svenske innvandrerkvinnen Emma Kristina Hemmingsdotter. Mye av interessen for sang og musikk fikk han fra den musikalske moren. Henry Skilbred var eldst i en søskenflokk på 10. Skilbred startet som frisørlæring da han var tolv, da han begynte å jobbe som såkalt «såpegutt», hos frisør Johannes Fjelldal. Da Johannes døde overtok Skilbred som frisørmester, bare 16 år gammel. Etterhvert startet han å arbeide for frisørmester Schöne i Skien, der han tok svenneprøven i 1923. Skilbred forble frisør resten av livet, men han hadde også en parallell karriere som musiker.