Loe ble født i Trondheim. Etter første året på videregående tilbrakte han et år som utvekslingsstudent i Frankrike. Senere tok han artium som privatist samtidig som han arbeidet i det kommunale Rebellteateret. Loe var militærnekter og avtjente siviltjenesten sin som skuespiller og altmuligmann i teatergruppa Stella Polaris, hvor han fant ut at teater absolutt ikke var noe for ham.