ホームページやブログ、TwitterやFacebookなど、自身の近況を自ら発表する場を1つも持っておらず、全くと言っていい程情報が皆無である。アマチュア時代は、様々なアーティストとコラボレートしていたようだが、メジャーデビュー以降の殆どの提供作品は、作曲を吉田将樹が担当している。
1937年（昭和12年）11月に没するまで、水崎は18年間校長の任に就いていた。学校創立後の校舎の整備、増築および実習工場の建設に尽力中、1923年（大正12年）9月1日の関東大震災で校舎が全壊した。不眠不休の復旧作業の結果、1ヶ月後の10月1日には山下の工場の仮校舎で半数の生徒約250名に寺子屋式の授業を再開し、復興資金下附にあたり文部省と粘り強く交渉して学校の復興に全力を傾けた。1926年（大正15年）には講堂が、1928年（昭和3年）には記念館が落成している。多忙を極めた校長職の傍ら、胃潰瘍で苦しみながらも、神奈川県社会事業協会、横浜キリスト教青年会 (YMCA)、青山会館、神奈川県内鮮協会等の理事として、社会事業にも携わった。学校での公民と修身の授業、英文の課外授業以外にも、夏休みには浅野の大磯の別荘での合宿、土曜の晩には立町の自宅の書斎で、バイブル・クラスや修養会を開いて生徒たちを導いた。1931年（昭和6年）の満州事変、翌年の上海事変以後の日本の行動は良心の痛むもので、最も必要な国民外交において日本国民は中国国民に親愛の情を表していないことを危惧していた。現・浅野中学校・高等学校の校訓はクリスチャンだった水崎の教育理念の「愛と和」、浅野の座右の銘の「九転十起」である。水崎の墓は遺言に従い浅野総一郎が眠る鶴見の總持寺に、そして新島襄が眠る京都若王子山の同志社墓地にある。いずれも墓碑銘は徳富蘇峰の揮毫によるものである。
1871年（明治4年）9月28日、7月の廃藩置県直後の松本県（11月に筑摩県となった）筑摩郡北深志下下町（現・松本市）に、旧松本藩士水崎好照の長男として誕生した。廃藩置県の混乱と大家族だった水崎家の困窮の中で、1878年（明治11年）、2年前に新校舎が建設された、文明開化を象徴する開智学校に入学し、松本新聞社に勤務しながら苦学して通った。1883年（明治16年）に旧制長野中学（現・長野県長野高等学校）に進学、1年修了の頃、小木曽庄吉弁護士の書生となり、2年余り毎日細字を清書して学資を得た。1886年（明治19年）、税務署勤務の父好照の静岡転勤を機に静岡に移り、静岡安西1丁目南裏町にあった、松下之基が開館していた各種学校の文武館で英語、数学、漢学を学んだ。当時静岡尋常中学校の生徒だった、13歳の上田敏も同年文武館で松下の教えを受けている。偶然にキリスト教に接し、静岡バンドが源流となった、静岡メソジスト教会（現・日本基督教団静岡教会）に通い牧師や宣教師の教えを聞くうちに、「感ずる所深く、それも教会に入りて、善心を得、誘惑に打ち勝ち、正しき生涯を送らんと欲し、入会を決心」し、1887年（明治20年）6月に同教会でカナダ・メソジスト教会の宣教師キャシディより洗礼を受けた。
大学卒業後、当時のマツダサッカー部監督・今西和男からの誘いを断り、フジタ（現:湘南ベルマーレ）に入団。しかしチームに合わず、1991年今西からもう一度声を掛けられマツダに入団。早くから攻撃の中心選手として活躍し、マツダがサンフレッチェ広島F.Cとして発足するとプロ契約、1992年にはJSL新人王を獲得。同年にはハンス・オフト監督が指揮する日本代表にも初選出され、広島で開催されたアジアカップでは決勝戦で唯一のゴールを決め、日本の初優勝に貢献。「アジアの大砲」というキャッチフレーズと共に、高木の存在はサッカーファン以外にも広く知られるようになり、翌1993年に始まったJリーグでも人気選手となった。同年の1994 FIFAワールドカップ・アジア予選にも最終予選まで参加したが、本大会出場はならなかった。1994年には、イワン・ハシェックと抜群のコンビで、広島のサントリーシリーズ優勝の原動力となった。しかし、同年のJリーグチャンピオンシップの第2戦でアキレス腱を断裂。以後、常に故障に悩まされ続けるも、「怪我をネガティブに考えたことは一度もなかった」（高木談）というプラス思考で広島の中心選手として活躍を続ける。1997年には1998 FIFAワールドカップ・アジア予選の最終予選で最終戦のカザフスタン戦に招集され 1得点を挙げたが、続くプレーオフのイラン戦（ジョホールバルの歓喜）ではメンバー外となり、翌年の本大会でも日本代表には選ばれなかった。そしてカザフスタン戦が高木にとって日本代表での最後の出場試合となった。1998年、広島の経営悪化に伴い移籍金を得るため放出を余儀なくされ、本人も環境を変えるいい機会として、ヴェルディ川崎へ移籍。前線の基点としてプレーするも次第に怪我により、活躍できなくなっていく。V川崎で2シーズンプレーした後、1999年末にオファーのあったコンサドーレ札幌へ移籍。日本代表のコーチや監督として指導を受けていた岡田武史監督の下、初めてJ2でのプレーとなった2000年は札幌のJ2優勝メンバーとなった。だが、自らはリーグ戦初の年間ノーゴールに終わり、同年を最後に、膝の負傷などを理由にして現役を引退した。