文化7年（1810年）6月13日、徳川家斉の十二男として生まれる。幼名は要之丞。12代将軍・徳川家慶は兄。文化10年（1813年）12月25日、御三卿の田安家当主で叔父にあたる徳川斉匡の養子となる。天保7年（1836年）8月、斉匡の隠居により、田安家の家督を相続する。斉匡には多数の子女がおり、匡時が世子となっていたが、病弱を理由に廃嫡され、代わって斉荘が継いだ。天保10年（1839年）3月20日に尾張徳川家の当主で異母弟である徳川斉温が死去すると、26日に喪が発せられ、同日に松平乗寛と水野忠邦が幕府の上使として江戸の尾張邸を訪れ、斉荘を末期養子として尾張家の家督を継がせるよう命じた。さらに田安家から家老の朝倉播磨守、御用人格の興津甚左衛門、用人の梶田五郎兵衛らが側近の付き人として斉荘に従って尾張家へ入ることも幕府から命じられた。斉荘の養子入りは幕府の一方的な命令によるものであり、支藩などにもあった尾張家の血統をないがしろにするものであり、藩内に大きな反発を生んだ。特に、先代斉温の遺言でもなく、隠居していた先々代斉朝（斉荘の従兄にあたる）にも全く相談もないことに不満は高まった。藩内では支藩である高須藩主松平義建の次男・秀之助（後の徳川慶勝）を望む者が多かった。このとき、御附家老の一人である竹腰正富が藩内の説得役となったが、反発した藩士が「金鉄組」を結成した。これが幕末に至り、反幕・尊皇攘夷派への流れとなって、竹腰家を中心とした佐幕派との対立へとつながることとなる。また、江戸在府の御附家老成瀬正住にも批判が集中し、最終的には蟄居を強いられた。江戸城本丸用材を献じたことなどにより藩財政は悪化しており、倹約令を出すなどしていたが、斉荘自身は苦労知らずの遊興好きで、苦しい藩財政を省みなかったといわれる。天保13年（1842年）には幕府から藩政停滞について警告された。それでも当人は藩政に真剣に当たらず、茶道にかまけ、裏千家に入門して11代千宗室（玄々斎）から奥儀を授けられている。子女は6人いた。次男で斉荘死後に出生した昌丸は一橋徳川家を相続して間もなく夭折したが、女子の2人は成人して大名家に嫁いだ。
本殿は三間二間の神明造銅板葺で棟に千木・鰹木を置く。本殿をはじめとする社殿は平成21年（2009年）に改築された。
天武天皇の時代から高階氏が奉仕してきたといい（上述元慶5年「太政官符」に所引の「高階忠峯等解状」）、以来明治に至るまで同氏が連綿として継いできた。ちなみに、同氏は忠滋以降「玉井氏」を称するようになったという。
当社の神事は、氏子各人を単位とする「大頭屋」と、各戸を単位とする「古頭屋」の2つの宮座によって斎行されている。なお、例祭日は正平9年の高階忠正邸遷座に際して、3月27日から9月19日に改めたと伝えられるが、現在の祭日は更にそれを新暦に改めたものである。
1992年（平成4年）6月に、木曽市長の死去に伴う市長選挙が行われ、建築行政に長く携わってきた前助役の藤田満州雄が当選した。添田市長の時代に計画されていた市民会館の建設構想は、巨額の建設費を必要とするために先延ばしとなっていたが、1990年（平成2年）7月、市内の文化団体代表者らによる「中間市『市民会館』または『文化ホール』建設実行委員会」が発足し、24,000人を超える署名を集めて9月議会に請願を行うなど、市民会館建設の機運が再び高まってきた。1994年（平成6年）11月から始まったこの中間市始まって以来の大事業は、総額57億円の巨費を投じて1996年（平成8年）11月1日に完成し、愛称を「なかまハーモニーホール」として中間市民の芸術・文化活動の拠点として長く親しまれることとなった。一方、この頃からダイエーグループ本体は勢いに陰りが見えてきていたにもかかわらず、当時宅地開発が相次いでいた筑豊電気鉄道沿線に立地するダイエー中間店は好調に売上を伸ばしていたため、積極的な投資が行われた。プランタン出店が予定されていた用地については百貨店とスーパーマーケットの中間的な業態に方針転換し、1993年（平成5年）12月「バンドール中間店」がオープンした。また、1998年（平成10年）11月には核テナントであるダイエー中間店・バンドール中間店に加えて、当時国内最多の16スクリーンを有するシネマコンプレックス「AMCなかま16（現在はユナイテッドシネマなかま16）」や、「セガアリーナ」および各種専門店街を増設し、複合型ショッピングモール「ショッパーズモール中間（現在はイオンなかま店）」として新装開店した。また、この頃国は、地域の保健・福祉サービスを総合的に提供する施設群を民間事業者の手によって整備するまちづくり「ふるさと21健康長寿のまちづくり事業（ウェルエイジングコミュニティ事業・WAC事業）」を進めており、中間市は三大都市圏以外では初めて、全国では4番目に認定を受け、第三セクター方式により通谷地区に民間活力による「福祉の里・ウエルパークヒルズ」づくりに着手した。その計画は、特別養護老人ホーム「サンライズ北九州」・「新中間病院」・介護老人保健施設「サンフラワーズ北九州」・「千寿中間」の4施設を核としたもので、さらに株式会社西日本医療福祉総合センターや21階建ての介護付有料老人ホーム「レーベン21」が入る中央棟と在宅介護サービスセンターの北棟が完成した1997年（平成9年）10月に事業開始し、温泉やスポーツセンターからなる南棟が竣工した2000年（平成12年）12月に全面オープンとなった。中間市もこれに合わせて2001年（平成13年）5月、垣生地区にあった社会福祉センターをウエルパークヒルズの敷地内に移転し、中間市地域総合福祉会館「ハピネスなかま」として新築オープンした。このことによりこの通谷地区に、医療・健康・福祉・居住・生きがいと、多様な観点からサービスを提供する総合的な福祉コミュニティが誕生した。