貞観4年(862年)老いと病により宮内卿を辞して自邸に退居した。