プファルツ家
しかし、両者は後に対立し、1314年にルートヴィヒ4世がローマ王に選出されると、ルドルフ1世はハプスブルク家の対立王フリードリヒ3世を支持して1317年にルートヴィヒ4世により敗北、ライン宮中伯は剥奪されて1319年に失意のうちに死去する。ライン宮中伯はルドルフ1世の息子であるアドルフが継ぐことを許されたものの実質的にはルートヴィヒ4世の傀儡に過ぎず、1329年に死ぬと弟のルドルフ2世が継承した。同年にパヴィアにて叔父ルートヴィヒ4世と和解して、ライン宮中伯はルドルフ1世の一族が、バイエルン公はルートヴィヒ4世の一族がそれぞれ有することで和解した。以後、ルドルフ1世の系統をプファルツ家、ルートヴィヒ4世の系統をバイエルン家と区分するようになる。
ルドルフ2世の弟であるループレヒト1世はルクセンブルク家の神聖ローマ皇帝カール4世が1356年に発した金印勅書により選帝侯位を獲得したことによりライン宮中伯はプファルツ選帝侯に昇格した。アドルフの孫であるループレヒト3世は皇帝ヴェンツェルが1400年に廃位されたことを受けてローマ王になるものの世襲化には失敗している。