建物はもともと、1931年の合併により、ブラウン・ブラザーズ・ハリソン・アンド・カンパニーとなったマーチャント・バンク、プライベート・バンクのブラウン・ブラザーズ・アンド・カンパニーの本社として建造、所有、使用された。BBHは、59 ウォール・ストリート（59 Wall Street）として知られる建物を、2003年に140 ブロードウェイに移転するまで使用し続けた。BBHは、1983年にミューチュアル・ファンドのファミリーを設立し、建物に因んで「59 ウォール・ストリート・ファンド」と命名した。会社が本社を再配置する計画を制作した2002年、ファンド・ファミリーは「BBHファンド」に改名された。建物は、2003年と2004年に、メトロ・ロフト・マネージメントにより、住居賃貸アパートメントに改装された。この賃貸会社は、建物の外側にある華麗な円状の彫刻の名前であるザ・クレスト（The Crest）として、建物を新しいイメージで売り込み、住所も63 ウォール・ストリート（63 Wall Street）を使用した。建物の1階は現在、郵便番号10005のアメリカ合衆国郵便公社を含む、小売業者の借地となっている。建物は2005年11月16日、アメリカ合衆国国家歴史登録財に加えられた。
1914年（大正3年）、大阪日日新聞に北浜銀行の経営放漫記事が掲載される。記事の内容はかなり誇張されたものであったが、全ての記事を荒唐無稽として排斥できない面もあったため、同年3月に取り付け騒ぎが起こる。最初の頃は、現在におけるコール市場より潤沢な資金が借りられたため大きな混乱は生じなかったが、日を追う毎に手形交換所を通じて巨額の引き出しをされるようになる。その動きを察知した直輝は渡辺千代三郎とともに、東京にあって未だ事情を知らない北浜銀行頭取岩下清周に無断で対策を講じる。まず取り付け騒ぎの原因となっている新聞記事の差し止めを求め大阪府知事や新聞社主宰と交渉し、その間に岩下へ電報を打電、急遽大阪に戻った岩下は自ら新聞社主宰を訪れ、記事停止の了解を得ることはできたが時既に遅く、その翌日には一時引き出しができない事態を生じる。北浜銀行に関係のある人々が急遽集められ対策を講じることとなったが、最初に支援を要請した藤田組の藤田平太郎男爵は先代の遺言により銀行と深い関わりを持つことを断られる。次の策として日本銀行支店へ北浜銀行の救済方法を相談すると、日銀本店に連絡し対策を講じてもらうこととなる。また24日、大阪手形交換所は大蔵大臣、日銀総裁に至急救援が必要との旨の陳情書を提出、大阪府知事からも救済を要請してもらう。同日中、日銀本店において北浜銀行を特別融通により救済することが決議されたが、この融通は300万円が限度とされ、わずか3日後には再び引き出しができなくなる。再度善後策を講じることになり渡辺が日銀支店に相談すると、日銀総裁と大蔵大臣が協議して北浜銀行重役が責任を負うならば必要資金を融通する用意があることを聞き出し、最も了解が得られにくいと思われた藤田男爵の了解を取り付けるべく、藤田男爵から最も信頼の厚かった谷口房藏に説得を要請、夜を徹して説得に当たった結果、藤田男爵家からの承諾を得ることができ、29日から引き出しが可能となった。岩下はこの責任を取り頭取を辞することになり、次の頭取を決めることになったが、岩下を北浜銀行から完全排除すべきという考えの重役が新頭取に杉村正太郎を立て重役会を刷新し、新体制で経営をスタートさせた。だが、それからすぐ同行名古屋支店において100万円の横領事件が発覚し、同年8月、臨時総会にて北浜銀行の事業継続は困難との理由を以て臨時休業を発表し解任を申し出る。このままでは銀行が破産してしまうため直輝は次の頭取を探すことになるが、なかなか良い人材は見つからなかった。同年11月、株式で成功していた高倉藤平が頭取になり北浜銀行は三度の出発となった。直輝がこの北浜銀行の危機に深く関わったのは、破綻が関西経済に容易ならざる悪影響を与えることもあったが、大阪電気軌道の経営破綻と、その先にある友人の大林芳五郎が社長を勤めた大林組の破綻があったからである。北浜銀行に取り付け騒ぎが起こった一番の原因は、生駒トンネル建設工事で無謀とも思われる多額の資金を大阪電気軌道に貸し出したためである。実際、大阪電気軌道は生駒トンネルの建設費用により経営が圧迫され危機的状況に陥っていた。また、建設を請け負った大林組は約束手形が無価値同然となり、ほとんど支払いを受けられなかったため、こちらも危機的状況に陥った。大林組、北浜銀行を救済するためには大阪電気軌道を改革することが最も重要であったため、直輝はその改革に乗り出す。まず、北浜銀行と大林組を除く巨額の債権をもつ三井物産と協議し、改革案を案出する。さらに他の債権者を含む関係者から、社長などの推薦指名を委嘱された直輝は、大阪電気軌道の幹部に大槻龍治を中心として新たな体制を成立させる。その後、乗客数の増加や経費削減により大阪電気軌道の経営は改善することとなる。その一方で大林組の再建にも力を尽くす。大阪電気軌道発注工事での約束手形が無価値同然となっていたため、破綻による損失を少しでも軽減するべく、債権を持つ多数の銀行は差し入れている担保品にかかわらず回収に動いた。直輝はなんとか救済できないものかと渡辺とともに多数の銀行を奔走し、担保品による借入額を満額まで調達できるように交渉したが謝絶された。1915年（大正4年）、二十数万円の資金が調達できなければ強制処分すると、いくつかの銀行に通告される。渡辺は東京の岸淸一博士を訪ね、数万円を借り、また三井銀行から担保総額の約七掛けにあたる有価証券の提供と、直輝、渡辺、岸の3名による連帯債務とすることを条件に約20万円の資金を融通され、危急の事態は回避された。その後も家政整理に関わり、株式会社化された後も相談役として後援した。1921年（大正10年）、北浜銀行で行員による株券偽造事件が発覚、損害額は八十数万円に上る。そしてその金銭的損害よりも信用的損害が大きいため、再度の取り付け騒ぎが起こってもおかしくない状況となった。直輝は渡辺千代三郎に銀行間の調整を要請し、渡辺の努力により損害賠償額の5分の1にて示談が成立、円満解決となり危機は回避された。北浜銀行はその後、1926年（大正15年）に三十四銀行と合併し、その歴史を閉じることとなる。