旧制中学校への進学が叶わない貧しい家に生まれ、働きながら独学で海軍兵学校への入校を果たし、海軍大学校を首席で卒業する。健康に恵まれず、海上勤務は少なかったが、軍政方面で活躍。海軍部外に幅広い人脈を有し、ブレーントラストを組織した。太平洋戦争の戦局悪化に伴い首相・東條英機の暗殺計画を立案したが決行直前に東條内閣が瓦解し未遂に終わる。その後は米内光政、井上成美の密命により終戦工作に従事。各方面と連携をとりながらの終戦への基盤づくりを行った功績は大きいとされる。
熊本県人吉市で、遺族により「高木惣吉記念館」が運営されている。
略歴.
太平洋戦争半ばに海軍省教育局長に補職された高木は、早期終戦を模索したが、最終的に東條首相を暗殺し和平内閣を誕生させて英米間との和平を実現させるべきとの結論に達した。実際に暗殺計画を立案したものの、実行直前に東條が昭和天皇からサイパン陥落の責任を問われ内閣総辞職を決意したため、未遂に終わった。その後、小磯内閣の海軍大臣に就任した米内光政と、海軍次官に転補された井上成美から終戦工作の密命を受け、熱海の藤山愛一郎邸を拠点として鈴木貫太郎内閣総辞職に至るまでの期間、各方面と連携をとりつつ戦争終結に向け奔走した。本土決戦に固執する帝国陸軍中堅将校クラスの妨害を排除しつつ、終戦への基盤づくりを行った。終戦直後、東久邇宮内閣の内閣書記官長・緒方竹虎に請われ、各省の次官たちを統べる初代の内閣副書記官長（現在の「内閣官房副長官」）に就任する。海軍省でも次官は通常、中将が就くポストであり、これは少将の高木にとって異例の抜擢人事で、次官会議を司会する関係から各省次官と同官等（高等官一等。少将は高等官二等）となり、予備役となった。
戦後は公職追放を経て、軍事評論家として「辰巳亥子夫」のペンネームで著述活動を行いつつ、海上自衛隊幹部学校に於いて山梨勝之進と共に戦史戦略の特別講師を務める。