的谷子和布帛，大多分享出去。元愉又崇信佛教和道教，开支经常接应不上，与弟弟广平王元怀很是互相夸耀，竞相攀比奢华，贪纵不遵法度。于是魏宣武帝在皇宫中逮捕元愉加以审问，杖打元愉五十下，外调元愉为冀州刺史。开始元愉自认为所居并非侍从要职，权势低于弟弟清河王元怿和广平王元怀，暗中心怀惭愧遗憾，在言语和神色上表现的很明显。元愉又因为自己和爱妾杨奥妃受到羞辱，高肇又多次向魏宣武帝说自己和几个弟弟的坏话，内外都受到压抑。当时元愉和高肇互相之间非常猜忌，元愉外任冀州刺史时，高肇举荐羊灵引担任元愉的长史，对元愉暗中监视。