Torje Olsen hadde utdanning fra underoffisersskolen i Kristiansand og fra amtsskole. Han var også et års tid i Amerika. I 1885 gifta han seg med Bente Solberg og overtok hennes gård, som han da tok etternavn etter.