その後この神社は、愛宕郡岩倉の地に移り住んでいた、後鳥羽上皇の第四皇子頼仁親王の血を継ぐ南朝の忠臣である児島高徳(生没年不詳。