さらに、治安3年(1023年)次女(遵子の養女)を、翌治安4年(1024年)長女(藤原教通室)を次々と亡くすが、公任は精神的に大きな痛手を受けたらしく、この頃より出仕をしなくなり、同年12月には権大納言の官職を辞任した。