長源寺19世日純の撰とされる縁起によれば、日源は世姓は未詳であるが、越後蒲原の人で本覚寺日禅の門人である。日源19歳の折、上洛の途中遠敷村を通りかかったところ、正護比丘尼という人に会い、この帰依を受けて康暦2年（1380年）後瀬山の下に長源寺を開創した。後に5世日樽の時、大永2年（1522年）守護武田元光が後瀬山に城を築くに当って長源寺を小浜の向島に移したという。以来若狭地方の本山として信仰を集め、若狭国主代々の祈祷所として手厚い保護を受けた。京極氏、武田氏、木下俊勝、酒井氏各氏の書状が残っており、弥勒菩薩画像（国の重要文化財）も寺宝として残されている。また近世初期日蓮宗の代表的説教者である霊鷲院日審は当山に13世として晋山し、12年間に亘って諸国を布教した。最盛期には、27の僧坊末寺と、祖師堂、番神堂、鬼子母神堂、清正公堂等があったが、現在は、山門、山内の2ヵ寺（光全寺、浄行寺）、鬼子母神堂、祖師堂を残すのみである。かつて仁王門に安置されていた伝運慶作の仁王像は京都嵯峨野の常寂光寺へ移され現存する。
老朽化や構造上の不備・狭隘化が目立った昭和30年代に建て替えが決定し、取り壊された。著名な設計事務所が望まれ、設計者は当時日本の建築界を先導していた前川國男となった。1963年（昭和38年）に新築工事が着工し、1966年（昭和41年）に現在の建物が落成した。埼玉県民に利用される機会は多く、埼玉県主催のイベントに使用されることも多い。建築から約50年が経過し老朽化していることから2015年（平成27年）10月1日から2017年（平成29年）3月31日まで休館し、大規模改修工事が行われる。外観は維持補修し、建物内部や設備関係は最新のものにする予定である。また、改修後は国際文化会館同様前川の建築のひとつとして国の登録有形文化財への登録を予定している。また、指定管理者として公益財団法人埼玉県芸術文化振興財団が管理・運営しており、埼玉会館ランチタイム・コンサートの実施など、クラシックなどのイベントも多い。在京プロオーケストラの埼玉公演の会場になることもある。
埼玉会館は、昭和天皇（当時は皇太子）の成婚を記念して建設が決まった。埼玉女子師範学校を別所に移転させ、その敷地に建設することが決まっていた。1923年に計画が始動するも、関東大震災によって延期された。その後渋沢栄一を中心とした寄付金の協力もあり、岡田信一郎の設計で1925年には着工することができ、1926年（大正15年）11月6日に完成した。当時国内において公共集会施設の建設は稀で、東日本では日本青年館に次いで2例目であった（日比谷公会堂よりも早かった）。また、関東大震災を受けて耐震耐火も考慮された設計となっていた。師範学校の旧校舎（鳳翔閣）は北に移築された（その後埼玉県立浦和図書館となる）。太平洋戦争後は一時進駐軍に接収され、埼玉軍政部が置かれた。
文久元年（1861年）5月、軍制改革を推進するため10名の軍制掛が任命された。海軍に関しては軍制掛の1人である軍艦奉行の木村を中心に改革の計画立案が行われた。同年6月、軍艦組が設置され、軍艦頭取に矢田堀鴻、小野友五郎、伴鉄太郎が任命され、後に荒井郁之助、肥田浜五郎、木下謹吾（伊沢謹吾）らが軍艦頭取に加えられた。文久2年（1862年）7月に船手組が、同年8月には小普請組288名が軍艦組に編入された。同年、関船などの在来型軍船は全廃された。同年、国産蒸気船「千代田形」の建造を開始。さらに、留学生のオランダ派遣、軍艦の海外発注（アメリカ:「富士山」「東艦」、オランダ:「開陽丸」）を実施した。多数の中古船の輸入も進められた。また大阪湾の防備拠点として神戸に着目する勝の運用構想に伴って、新たな海軍教育機関として、元治元年（1864年）に神戸海軍操練所も開校されたが、これは翌慶応元年（1865年）には閉鎖されてしまった。また閏8月、軍艦奉行 木村摂津守により、海軍大拡張計画が提案された。これは日本を6つの警備管区に分けて艦隊を整備するもので、艦船370艘、乗員61,205人と見込まれていた。しかし政事総裁職 松平春嶽は幕府に海軍の権能を集中させる点に反発し、また軍艦奉行並 勝麟太郎も計画のコストの高さを批判したことから、この計画は採択されず、木村は文久3年（1863年）9月26日に軍艦奉行を辞職した。幕府海軍の艦船は、国内での部隊や物資、要人輸送などに活躍した。また水戸浪士による横浜居留地襲撃の噂があったことから、万延元年（1860年）閏3月より、神奈川港において、講武所の剣術・槍術修行人を乗艦させた軍艦2隻による常駐警備が開始されたが、可動艦に余裕がなく、また実際の襲撃が起きなかったこともあり、元治元年（1864年）4月に終了となった。その後、同年3月に勃発した天狗党の乱への鎮定に投入されることになり、沖合を偵察する筑波勢の小舟を撃沈したほか、艦砲射撃も実施している。これは日本の近代海軍として初の実戦投入であった。