Hans far Thorleif August Traaholt, jobbet i kalksteinsgruvene på Kjørholt ved Heistad i Porsgrunn. Faren fisket for å spe på familiens inntekt, og brukte også båten sin fra Smieholmen inn til fastlandet for å komme seg på jobb i gruvene. Bjørn Traaholts mor, Randi Josefine Bakke, var hjemmeværende og jobbet som hushjelp før hun giftet seg med Thorleif Traaholt sommeren 1930. Ekteparet fikk tre barn. Bjørn Helge Traaholt var deres andre barn og ble født hjemme i familiens hus på Smieholmen i Eidangerfjorden. Familien levde i svært enkle kår.