Moe studerte ved Sorbonne og ved Universitetet i Oslo inntil 1943, da han ble arrestert av de tyske okkupantene. Fra 1943 til 1945 satt han i konsentrasjonsleiren Sachsenhausen. Han hadde magistergrad i kunsthistorie fra Universitetet i Oslo, og hadde også studert kunsthistorie og musikk ved Columbia University og Princeton University i USA.