弘仁14年(823年)正月に蔵人頭を辞すが、同年4月の淳和天皇の即位に伴って、嘉智子所生の皇子・正良親王が春宮に立てられると、氏公は正四位下に叙せられる。