越前松平家の家老で越前府中（現在の越前市）を領した本多氏の家臣の子として、江戸の本多邸で生まれた。漢学を学んだ後、渡辺洪基に英語を、村上英俊にフランス語を学んだ。藩命で大学南校（東京大学の前身校の一つ）に入学するが、1872年（明治5年）に司法省明法寮に転じた。1875年（明治8年）、パリ大学に留学し、1878年（明治11年）に法学士の称号を得た。引き続きパリ政治学院で学び、1880年（明治13年）に卒業した。帰国後、司法省書記官、司法大臣秘書官、法律取調委員会委員書記などを歴任。1886年には東京仏学校（現・法政大学）の創立に参画した。さらに1890年（明治23年）に司法省民事局長に就任すると、翌年には大審院判事に転じ、部長を務めた後、1898年（明治31年）に退官した。退官後は、弁護士を開業した。1902年の第7回衆議院議員総選挙に出馬し、当選。その後も第8回・第9回の総選挙に当選した。その他、本所区会議員に選ばれ、議長にも互選された。
明治11年5月大阪いなり北門小屋で上演された人形浄瑠璃『いろは蔵武士鑑』には「赤垣源蔵出立の段」があり、戦後まで『忠臣義士伝』、『義士銘々伝』などの外題で上演されていた。作者は倉田千両であると伝えられる。内容はやはり講談の銘々伝からの翻案で、赤垣源蔵が討ち入り当日に徳利を下げ千鳥足で兄の源左衛門の家にいき、母に主取りが決まったという。しかし本当は仇討ち前の暇乞いにきたと悟った母は源蔵を励ます為に自害。源蔵は今日が討ち入り当日である事を明かす。これを聞いた若党の曽平太（実は吉良の間者）は討ち入りの事を知らせるため家をでようとするが、源蔵は赤垣家伝来の槍で曽平太を突き刺す。この槍を選別として兄の源左衛門から受け取った源蔵は、武具を取り出して身支度する。それを見た母は喜んで息絶える。
2013年1月11日に、阪神タイガースへの移籍が発表された。平野恵一が国内FA権の行使によってオリックスへ移籍したことに伴う補償措置で、当初の背番号は、オリックス時代に続いて40。公式戦の開幕後は、7月24日の出場選手登録を経て、翌25日の対東京ヤクルトスワローズ戦（明治神宮野球場）で、7点ビハインドの8回裏にセントラル・リーグ公式戦デビューを果たした。しかし、1回を投げて3失点と振るわず、わずか2日で登録を抹消。結局、一軍公式戦への登板機会はこの試合だけだった。ウエスタン・リーグ公式戦でも、35試合に登板したが、1勝3敗、防御率4.08という成績に終わった。2014年には、春季キャンプ前の1月6日から、背番号を34に変更した。久保康友が国内FA権の行使でDeNAへ移籍したことに伴う補償措置で入団した鶴岡一成捕手が、背番号40を着用することによる。高宮自身は、5月1日にシーズン初の出場選手登録を果たすと、7日の対中日戦（ナゴヤドーム）延長11回表2死から登板。代打に起用された左打者の野本圭を三邪飛に打ち取ると、12回表の打席で梅野隆太郎と交代した。その梅野が2点本塁打を放ったなどことによって、チームは3点リードの末に逃げ切り勝利。高宮にも、一軍公式戦6年振りの白星が付いた。シーズン終盤には、自身と同じ左の中継ぎ要員（加藤康介や筒井和也）が軒並み不振になり、登板の機会が増加。レギュラーシーズン全体では、一軍公式戦22試合の登板で防御率2.89を記録した。さらに、チームのレギュラーシーズン2位で迎えた読売ジャイアンツ（巨人）とのクライマックスシリーズ（CS）ファイナルステージ（東京ドーム）では、巨人の左打者・阿部慎之助対策のワンポイントリリーフとして、第1戦から3戦連続で対戦。通算で3打数無安打2三振と抑え込んだことによって、チームの日本シリーズ進出に貢献した。ソフトバンクとの日本シリーズでも、5試合中2試合に救援で登板した。福岡ヤフオク!ドームでの第3戦（10月28日）では、2点ビハインドの6回裏2死1塁から登板したが、対戦した2人の打者を死球と安打で出塁させた末に、1死も取れないまま降板。後を継いだ安藤優也が以上の走者を全て生還させたため、高宮には自責点2が付いた。2015年には、公式戦開幕直後の4月3日から一軍へ帯同すると、左打者に対するワンポイント・リリーフを中心に活躍。夏場に一時不調で登録を抹消されたが、一軍公式戦全体では自己最多の52試合に登板するとともに、防御率3.03やチーム3位の10ホールドポイント（2救援勝利8ホールド）を記録した。2016年には、国内FA権の行使によって中日から移籍した左投手の高橋聡文が一軍のセットアッパーに定着するなどの影響で、一軍公式戦への登板が16試合にまで急減。1ホールドを記録したが、防御率は6.39にまで達した。2017年には、高橋に加えて、前年まで先発要員だった左投手の岩崎優が一軍の救援陣に定着。一軍公式戦への登板機会を失ったことや、例年と違って夏場を過ぎても球威が上がらなかったことを背景に、現役引退を決意した。9月28日に甲子園球場で催された広島東洋カープとのウエスタン・リーグシーズン最終戦では、この試合を最後に二軍監督を退く掛布雅之へ志願したうえで、9回表に登板。1イニングを無安打無失点に抑えたことによって、自身の現役生活と掛布の二軍監督生活を締めくくった。10月2日に球団から戦力外通告を受けたことを機に、11月29日付で現役引退を正式に表明。