二笑亭
関東大震災後の1925-1926年、渡辺は世界一周旅行に出かけた。帰国後、(関東大震災後の)区画整理が終るとバラック建ての自邸を本建築に改築する工事を始めた。着工は1927年12月頃で、自分で材木などを購入した渡辺は設計図もないまま口頭で大工に指示を出して建築させたが、その指示がたびたび変わったために工事は何度も中断。1931年8月に新築(竣工)届が出されたが、その後も工事が続けられた。この間、渡辺の奇行に耐え切れなくなった家族は別居し、渡辺1人と女中のみが残っていた。その後、「電話返却事件」(後述)をきっかけに1936年4月24日に渡辺が加命堂脳病院に入院させられ、2年後の1938年4月頃に取り壊された。 なお金蔵は昭和17年6月20日に没し、深川の玉泉院に葬られた。
現在、二笑亭が建っていた場所にはインテリア店が建っている。
渡辺は1936年春、当時相当の資産価値を持っていた自宅の電話の無料返上を申し出た。当局はその理由の解釈に苦しんだが、結局申し出通りに電話を取り外し電話機を引き取った。このことがきっかけで別居していた家族は渡辺を入院させるのであるが、入院後に渡辺が語った理由は次の通りである。 「私は長いこと電話を所有してきたが、最近ではそれを使わない。しかも料金を納めねばならない。使用しないのに、料金を払うということは悪い。だから、電話を廃止することになった」