1901年に伊藤長七が、信州を去る際に詠んだもので、伊藤長七の傑作として名高い。小諸善光寺の境内に伊藤寒水碑があり、その背面にも一部が刻まれている。ああ我、またついに小諸を去らざるべからざるか。懐かしき哉、小諸の土地よ御身の四周をめぐれる山と水と御身の身辺をかざれる森と花と御身の上を流るる清涼の空気と御身が生みたるあどけなき少年少女と御身の中にそばだち見ゆる小諸小学校の建物とまた特に我が受け持ち百三十人の少年を教えたる薄暗き土蔵と楽しかりしは晩春の修学旅行なりき。行を共にせしもの三百人。小諸の停車場を出発せし時の勇ましさ。あるは春日山頭、瞳を日本海の白帆にはせて、越州の山河をさしつつ、いにしえ、英雄の壮図を談じ、あるは北海の豪涛に脚を洗わせつつ真砂の上に鰯の網を引き、直江津の客舎に我が愛しの子らと一夜の夢を結びたること、いずれか忘れ難き思い出にあらざらん。我が高等一、二年の男女生徒と共に催したる運動会よ。げに、いじらしきは彼ら小国民の意気なり。　無心の少年少女が彼らの先生と共にいかに甲斐甲斐しく走り、いかに健気に相撲せしかよ。小諸学校に赴任以来、一日として安かるべき日は無かりしが、特に去年冬、我が校内に正義の光踏みにじられし時、あまりの馬鹿馬鹿しさに、学校を去るべき一種の決心を固めつつ、吾教室に臨みしが、百余の児童只無心にして吾を頼らんとすべき顔容をみて、吾は吾決心の如何に残忍なりしを悟り、双眼の涙にくもるを覚えざりき。顧みる、信濃教育界における我が三カ年の歴史を思えば、恍として只夢のごとし。さらば浅間の山さらば千曲の川さらば小諸の知己さらば我が学校の諸君さらば我が教えの庭の子等さらばよ故国信濃の山河 健在なれいざ別れん哉
1929年6月3日、妻のふゆが死去。翌年の1930年4月19日6時35分、肺結核のため平塚市杏運堂病院で死去。享年53。府立五中では、長七の死をうけて、4月23日に校庭で学校葬が行われた。葬儀は盛大に行われ、3000人を超える参列者がいた。墓地は、東京都豊島区の雑司ヶ谷霊園。
1992年2月14日、東海大学のバンドサークルのメンバーにより結成。HAKUEI曰く、結成当初はGASTUNKのようなハードコアパンクをとにかく激しく派手な格好でやりたいと思っていたという。1994年12月、ファーストフルアルバム『Missing Link』をリリース。レコ発ライヴで初めてソールドアウトとなる。1995年、2月から7月にかけて目黒鹿鳴館で「マンスリーライブ」を行い、全公演即日ソールドアウト。9月30日に渋谷公会堂で初のホールワンマンLIVEを行い、チケットは発売日に即ソールドアウトした。インディーズながらレコード会社3社（徳間ジャパン、日本クラウン、VAP）から同時にCDを発表する。1996年3月、PIONEER LDCよりシングル「Blue Moon / 天使よ目覚めて」でメジャーデビュー。7月25日・26日、当時としては異例の新人バンドによる日本武道館公演を敢行。武道館公演直後、ソロ活動の開始を発表。千聖のタイでの人気に伴い、アジアでの認知度が高まった。テレビ埼玉（現・テレ玉）で「ペニシリンSHOCK」放送開始。1997年、音楽番組などメディアへの露出が増え始める。1998年1月、テレビアニメ『セクシーコマンドー外伝 すごいよ!!マサルさん』のオープニングテーマ「ロマンス」を発売し、90万枚の売上を記録。5月29日〜6月14日「ロックオペラハムレット」に出演。（ハムレット役：HAKUEI、ホレーシオ役：千聖、レアティーズ役：GISHO、うさぎ役：O-JIRO）2000年、韓国にてライブを行なった。2007年、5月20日に行なわれたライブを以って、ベースのGISHOが脱退した。脱退理由は、本人の一身上の都合によるものである。残ったメンバーは即答で「3人でやろう!」とそれ以外の選択肢はなかったと述べている。2010年、2012年の結成20周年に向け、自主レーベルTHAT Recordsを設立。2011年、8月から翌年3月まで毎月「20th COUNTDOWN MONTHLY LIVE」を行い、全13公演で今まで発売したアルバムをテーマに毎月セットリストの違うLIVEを行い全楽曲を演奏した。2012年2月14日、結成20周年を迎える。4月11日にファンセレクトによる結成20周年記念ベストアルバム『20th Anniversary Fan Selection Best Album DRAGON HEARTS』を発売。収録曲は"ロマンス - 20th Ver. -"を始め、ベスト盤の為に新たに再録された楽曲が大半を占める。通常盤には書き下ろしの新曲「DRAGON HEARTS」が収録されている。12月5日にメンバーセレクトによるベストアルバム『20th Anniversary Member Selection Best PHOENIX STAR』を発売。新曲の「PHOENIX STAR」そして再録された数曲に脱退したGISHOが参加した。2枚のベストアルバムのリリースを機にblowgrowに移籍。2013年2月16日、渋谷公会堂で「20th Anniversary LIVE FINAL 〜HAPPY BIRTHDAY & VALENTINE’S DAY LIVE〜」を行う。脱退したGISHOがゲスト出演した。2015年3月18日、初のカヴァーアルバム『Memories 〜Japanese Masterpiece〜』をリリース。千聖の直接交渉により初回盤のアルバムジャケットを漫画家の上條淳士が手掛けた。