卓越したハンガリー人ピアニストで声楽家の母リッラ・ペヤチェヴィチより音楽の手解きを受け、12歳で作曲を始める。ドレスデンやミュンヘン、ザグレブで音楽を学習する。孤独な生活を送っていたが、著名な音楽家や文筆家と面識があり、オーストリアのジャーナリスト、カール・クラウスや、チェコの貴族で文化の擁護者、シドニー・ナードヘルナーらと親交があった。後期ロマン主義音楽の様式で58曲を後世に遺した。その大半がピアノ曲や室内オーケストラのための作品である。作品のほとんどが出版も録音もされずに自筆譜のまま遺されている。主要な作品に、《ピアノ協奏曲ト短調》作品33（1913年作曲、1982年にIzdanja Muzikološkog Zavoda Muzičke Akademije より出版）、《交響曲 嬰ヘ短調》作品41（1916年作曲、1920年改訂）、《ヴァイオリン・ソナタ ニ短調》作品26と《チェロ・ソナタ ホ短調》作品35、《ピアノ四重奏曲 ニ短調》作品25、《ピアノ五重奏曲 ロ短調》作品40、《ピアノ・ソナタ変ロ短調》作品36（2002年にクロアチア音楽出版局より刊行） および《ピアノ・ソナタ変イ長調》作品57がある。《メヌエット》作品18はウィーン・ボエーム四重奏団によってコッホ＝シュヴァン・レーベルに録音された。1921年に結婚してミュンヘンに移るが、その2年後に夭逝し、亡骸はナシツェの墓地に埋葬された。
天正始め頃に秀吉の小姓となった。天正5年（1577年）10月に秀吉が織田信長から播磨国攻略を命令されて姫路城を本拠地としたとき、脇坂安治や一柳直末、福島正則、加藤清正、仙石秀久らと共に秀吉御馬廻り衆の1人として大谷平馬の名前が見える。天正6年（1578年）5月4日に尼子勝久が上月城において毛利輝元の軍勢に包囲されたとき、秀吉は尼子軍を救援するために出陣したが、このときに吉継も従軍している。その後の三木城攻めには馬廻として従軍し、10月15日に平井山で開かれた秀吉陣中での宴にも大谷平馬として名を連ねている。このときの禄は150石とも250石であったともいうが定かでない。天正10年（1582年）4月27日、秀吉は毛利方の清水宗治が立て籠もる備中高松城を攻めた。このときも吉継は秀吉の馬廻りとして従軍している。しかし、ここまでの逸話の中で『武功夜話』が根拠となっている逸話については偽書説があるために信憑性について問題がある。その2ヵ月後の6月2日に織田信長が本能寺の変で横死した。秀吉は6月13日に信長を殺した明智光秀を討ち、6月27日の清洲会議で織田氏の主導権を獲得して台頭してゆく。
永禄2年（1559年）に近江国（滋賀県）で生まれたとされてきたが、現在は6年後の永禄8年（1565年）を生年とする説が有力となりつつあり、その場合は享年も従来の42歳から36歳と改められることになる。父が病気治療のために豊後国に赴いてそのまま一時期、大友氏の家臣になっていた折に生まれたという説もあるが、当時の大友家中に平姓大谷氏は存在せず、六角氏の旧臣・大谷吉房とする説が有力である。『華頂要略』の坊官大谷家系図に吉継の名があること、本願寺坊官・下間頼亮室が妹であることなどから、青蓮院門跡坊官・大谷泰珍の子という説もある。母が大政所ないし高台院の縁故者であったことは、すでに作者不詳の『校合雑記』に記載があったが、『校交雑記』が引く『兼見卿記』の確認作業により、吉継の母は高台院の取次役であった東殿であることが確定した。また『関原軍記大成』では東殿が高台院の生母の朝日殿の親族であったとも語られている。天正14年（1586年）4月6日、大坂城へ伺候した豊後国の大友義鎮が国元の家老へ送った書状に孝蔵主とともにあえて東殿と名指しでその存在を伝えており、すなわち秀吉のくつろぐ奥御殿の次ぎの間に東殿が控えており、かなりの政治力を有していたことがうかがえ、豊臣家中で重責を担っていたといえる。兄弟姉妹が存在し、栗山林斉と祐玄（祐玄坊とも）の2人の甥が記録に見える。
口調は、年上・年下にかかわらず基本的には敬語を用い、コナンたちのような子供に対しても割と丁寧に話しているが、同期（アニメでは後輩）で友人の千葉刑事に対してのみタメ口になる。また、名前の呼び方も目上の警察関係者には名字に階級付け、ほぼ同格の警察関係者（佐藤など）や一般人には名字に「さん」付け、子供には名前に「ちゃん」か「君」付けだが、千葉刑事だけには呼び捨てである。なお、周囲からの呼称は「高木刑事」が多いが、目上の警察関係者は「高木君」「高木」、毛利小五郎と原作の千葉刑事は「高木」、アニメ版と原作76巻以降の千葉刑事は「高木さん」、阿笠博士は「高木君」「高木刑事」である。一人称は、コナンたちや目暮警部などと話すときは「僕」だが、千葉刑事と話すときやモノローグでは「オレ」と言っている。また、事件の捜査中には「私」を使う場合もある。少年探偵団の面々と仲が良く、うっかり捜査中の事件のことを話してしまうこともしばしば。特にコナンからは信頼されているようで、よく事件についての調査を依頼されていたり、コナンが単独で対峙した犯人の逮捕にも協力している。また、小五郎や阿笠博士の推理のヒントでトリックに気付くことが多く、それを聞いてもピンと来ない目暮警部をつい「バカ」と呼んでしまい、殴られてしまうこともしばしばある。1年前までは3歳上の先輩・伊達航とコンビを組んでおり、一課内では2人の名前の読みが同じことから「ワタル・ブラザーズ」と呼ばれていた。伊達は1年前に不慮の交通事故で死亡するが、それが原因で起こった事件で高木自身が生命の危機に晒されたことがある。伊達曰く、警察学校の同期である安室透と背格好が似ているとのこと。