勘解由小路在富
天文22年(1553年)9月22日には、在富の妻が山科言継の三男・鶴松丸(のちの薄諸光)を養子にしたいと要請したが、断られている。但し、その前後には山科言継との関係は良好であり、親密な関係があった。
唯一の息子である賀茂在昌は、永禄2年(1559年)、ガスパル・ヴィレラらの上洛の折にキリシタンとなり、永禄7年(1564年)には妻子を連れて京を出奔して、西洋天文学を学ぶため豊後府内に留学した。在富は後継者が不在のまま、翌永禄8年(1565年)8月10日死去。
没後には嗣子がなかなか決まらず、安倍氏嫡流土御門家から土御門有春の子である在高を、さらにその没後は続いて土御門有脩の子である土御門久脩(勘解由小路在綱として改姓改名)を養子に入れて辛うじて存続したものの衰退。キリシタンとなって豊後府内に留学していた在富の息子賀茂在昌が安土桃山時代天正5年(1577年)に帰洛して陰陽頭を嗣いだことによって一旦は相続問題解消したと思われたが、江戸時代初期、賀茂在昌の息子と思われる勘解由小路在信の代に至って消息不明となり断絶した。
在富の息子と孫に当たると思われる賀茂在昌、勘解由小路在信については不明な点が多く、在富の代で賀茂氏勘解由小路家は実質絶家したものと見なされることが多い。