Drøyt 15 år gammel begynte Skilbred i snekkerlære. I 1881–82 tok han amtsskolen i Bratsberg og seinere kurs ved teknisk kveldsskole i Skien. Her var han bosatt og arbeidde som bygningssnekker fra 1885 til 1894. I denne tida var han leder i flere arbeiderforeninger, og han var også medlem av kommunestyret i Skien.