室町時代になると、代々神祇大副（神祇官の次官）を世襲していた卜部氏の吉田兼倶が吉田神道を確立し、神祇管領長上を称して吉田家が全国の神社の大部分を支配するようになり、白川家の権威は衰退した。江戸時代に白川家は伯家神道を称して吉田家に対抗するも、寺社法度の制定以降は吉田家の優位が続いた。家格は半家、代々の当主は近衛中将を経て神祇伯になった。江戸時代の家禄は200石。他に神祇領・神事料100石。
白川家の特徴は、神祇伯の世襲と、神祇伯就任とともに「王」を名乗ったことである。「王」の身位は天皇との血縁関係で決まり、本来は官職に付随する性質のものではない。非皇族でありながら、王号の世襲を行えたのは白川家にのみ見られる特異な現象である。以下、このことに留意しつつ白川家の成立について説明する。延信王は、万寿2年（1025年）に源姓を賜り臣籍降下して、寛徳3年（1046年）に神祇伯に任ぜられた。なお、当時の呼称は「源」または「王」であり、その後の時代に、「白川家」や「伯家」「白川王家」と呼ばれるようになる。延信王以後、康資王、顕康王、顕広王と白川家の人物が神祇伯に補任されているが、この時期はまだ神祇伯は世襲ではなく、王氏、源氏及び大中臣氏が補任されるものと認識されており、事実、先の四名の間に大中臣氏が補任されている。顕広王は本来は源氏であり、神祇伯就任とともに王氏に復し、退任後に源氏に戻る最初の例となっており、以下に示す経過により、顕広王の王氏復帰をもって白川家の成立とみなすことが多い。顕広王の王氏復帰の背景には、神祇、すなわち神を祀るという、朝廷にとって最も重要な行為を行う神祇官の長官である「神祇伯」という職務の重要性と、源氏という最も高貴な血筋、及び顕広王の室で仲資王の母が大中臣氏である上に、顕康王が有力な村上源氏の源顕房の猶子となっているなどの諸般の事情があったと考えられている。顕広王の子である仲資王（源仲資）が顕広王の後を継いで神祇伯となり、仲資王の退任後その子の業資王（源業資）が神祇伯に任ぜられ、その後業資王が急死して弟の資宗王（源資宗）が神祇伯に任ぜられるために源氏から王氏に復し、これらが先例となり、以後、白川家による神祇伯の世襲化と神祇伯就任による王氏復帰が行われるようになったのである。なお「白川」の呼称は13世紀中期以降、資邦王の代から見られるようになる。
白川家（しらかわけ）は花山源氏を出自とする堂上家である。花山天皇の皇孫の延信王（のぶざねおう）が源姓を賜り臣籍降下して神祇官の長官である神祇伯に任官されて以降、その子孫が神祇伯を世襲するようになったために「伯家」とも、また、神祇伯に就任してからは王氏に復するのが慣例であったことから「白川王家」とも呼ばれた。
1917年（大正6年）10月11日、熊本県に生まれる。若くして上京、油絵を学ぶ。太平洋戦争に召集され従軍する。復員後は九州で炭鉱労働の仕事に就くが重労働に耐えられず離職。大阪に移り米兵向けに春画描きをして生計を立てる。その後「自分で絵を描き自分で駄菓子を作り自分で朗読する」自作自演の紙芝居の仕事を始める。当時、GHQに規制されていたチャンバラ物の紙芝居で刺激に飢えていた子供達に大好評を博す。話題を聞きつけた紙芝居の貸元にスカウトされ描き手に専念。貯めた資金で古書店を開店し、店番をしながら紙芝居用の絵を描くという生活を送る。そこでまた出版関係者にスカウトされ豊田文庫で絵物語の仕事を始める。子育て幽霊の怪談をモチーフにした絵物語『6本指の男』を描き、そのグロテスクな内容で社長に家を購入してもらうくらいの人気を得る。1949年、豊田文庫より創刊された月刊少年漫画誌『冒険紙芝居』に創刊号より執筆。後に手塚治虫や酒井七馬らも参加するが、編集長が交代し編集方針の変更により打ち切られる。メンコや塗り絵、看板描き等の仕事をして食いつないでいたところ、貸本漫画出版社日の丸文庫社長の山田秀三に誘われ顧問に就任。後進の漫画家を指導する。1956年1月、日の丸文庫からオムニバス形式の単行本『都会の虹』が発表される。これを元に辰巳ヨシヒロと松本正彦のアイディアをまとめて短編集『影』の創刊に尽力する。1957年、大人漫画の出版に失敗し日の丸文庫が経営危機に陥った際、手形の割り引きに奔走するがあえなく倒産。手形の裏書きをしていた久呂田も多額の借金を背負い借金取りに追われることになる。所属漫画家が路頭に迷う中、久呂田は主要メンバーだった辰巳ヨシヒロ、松本正彦、さいとう・たかをの囲い込みに成功。名古屋の出版社・セントラル文庫の漫画家兼編集者として短編集『街』の編集に取りかかる。山田社長と敵対していた久呂田は、営業を再開した日の丸文庫から辰巳らを切り離すため、セントラル文庫の社長に3人を上京させることを提案する。渡された資金を全部飲み代として使い込んでしまう等の紆余曲折を経て、東京都国分寺市のアパートに居を構える。国分寺市は後に多数の劇画漫画家があつまり劇画文化の中心地になった。