憲政碑
海老名村の憲政碑建立後、胎中は毎年憲政功労者の慰霊祭を挙行していた。また長野県を始め、全国各地で胎中の憲政碑建立に倣って同様の憲政碑建立計画が持ち上がったものの、結局実現することはなかった。
胎中は、かねてから憲政功労者の慰霊は全国レベルで行われるべきであると主張していた。1936年(昭和11年)の第19回衆議院議員総選挙で衆議院議員に復帰した胎中には、更なる厳しい事態が待ち受けていた。選挙終了直後、二・二六事件が勃発し、かつて首相、政友会総裁を務めた高橋是清が暗殺されたのである。その一方で、同年11月には建設中であった国会議事堂が竣工し、盛大にその完成が祝われた。そして1937年(昭和12年)4月30日に行われた第20回衆議院議員総選挙で、胎中は約300票差で落選してしまった。
胎中の衆議院議員落選後、1938年(昭和13年)2月には憲法発布50周年記念式典が予定されていた。海老名の憲政碑建立後4年が経過し、新国会議事堂の完成、憲法発布50周年といった慶事の中にあっても、憲政の危機がより深刻化していく情勢を見て、胎中は全国の憲政功労者を慰霊する新たな憲政碑建立を決意する。
胎中は全国の憲政功労者の顕彰、慰霊を目的とする憲政碑の建立について、旧友の東京拘置所所長の谷内庄太郎に相談した。胎中から相談を受けた谷内は碑の建立に賛同し、資金を集めるべく大日本相撲協会の協力を求めた。大日本相撲協会は協力を約束し、胎中を発起人として藤島秀光(元横綱常ノ花寛市)、伊勢ヶ濱勘太夫(元関脇清瀬川敬之助)を窓口として大日本相撲協会、そして谷内庄太郎によって憲政碑の建立計画が進められることになった。
1937年(昭和12年)12月23日の午前10時、発起人の胎中楠右衛門を始め、衆議院議長小山松寿、貴族院議長松平頼寿、内閣参議前田米蔵、元内相望月圭介、首相近衛文麿の代理である鉄道省政務次官田尻生五、民政党からは総裁町田忠治、幹事長小泉又次郎ら、政友会からは代行委員島田俊雄、幹事長松野鶴平ら、そして東本願寺法主大谷光暢ら、全国から集まった議員、関係者、憲政功労者の遺族など1000名あまりが参加して浅草本願寺の憲政碑除幕式が行われた。4年前の海老名の憲政碑除幕式の参加者は政友会関係者中心であったが、浅草本願寺の憲政碑建立記念式典は、衆議院、貴族院の両院、民政党、政友会の関係者ら、党派を超えた憲政関係者が一堂に会し、憲政功労者を慰霊、顕彰することになった。碑の前には美しく飾り立てられた祭壇が置かれ、会場には生花が並べられた。
式典はまず海老名の憲政碑と同じく、胎中楠右衛門の孫である胎中敬が碑を覆っていた幕を外し、憲政碑がその姿を現した。碑の除幕後、発起人の胎中楠右衛門がまず挨拶に立った。胎中は挨拶の中で、まず協力者と式典参加者に謝意を述べた。そして今回憲政碑に合祀する憲政功労者の総数が2272名に及ぶことと、順次合祀者を追加していく予定であることを紹介し、碑の建立地である浅草本願寺がわが国の憲政に深い縁を持つ衆議公論の発祥地であり、この意義深い地に憲政碑を建立することが出来たことは大きな喜びであると語った。