しかし病弱だった上に父との関係も微妙であり、『日本後紀』によれば、延暦12年(793年)に春宮坊帯刀舎人が殺害された事件の背景に皇太子がいたと噂されたことや、延暦24年(805年)に一時重態であった天皇が一時的に回復したために皇太子に対して参内を命じたのにもかかわらず参内せず、藤原緒嗣に催促されて漸く参内したことなどが記されている。