少年時代にワルシャワでヴァイオリンを学び、1917年よりベルリンでカール・フレッシュに入門。12歳でワルシャワでデビューし、センセーションを呼ぶ。1925年にわずか16歳でドレスデン・フィルハーモニー管弦楽団のコンサートマスターに就任するが、1929年に退団。同年、ヴィルヘルム・フルトヴェングラーの招きで、弱冠20歳でベルリン・フィルハーモニー管弦楽団のコンサートマスターに就任。1930年には、パウル・ヒンデミットやエマヌエル・フォイアーマンと弦楽三重奏団を結成して室内楽演奏を、またピアニストのリリー・クラウスとはデュオを組んでソリストとしての演奏を精力的に続ける。しかしナチスによる政権奪取の後、1934年に国籍と民族を理由にベルリン・フィルより退団を余儀なくされる。1938年にソリストとしてニューヨークにデビューした後、1942年からアジア楽旅を行なった折、日本軍により、1945年までジャワ島での抑留生活を強いられる。ようやく戦後に再渡米し、1953年にアメリカに帰化した。1951年から1965年までの15年間にわたって、アスペン音楽学校で教鞭を執るかたわら、指揮活動にも着手。1955年にアムステルダムにてトーマス・マジャールらと共にネーデルラント室内管弦楽団（オランダ室内管弦楽団）を結成し、以後22年間にわたって同楽団を指導し、ともに演奏旅行も行なった。1977年から1979年までマンチェスター・カメラータの指揮者に転ずる。1978年にニューヨークのジュリアード音楽院で、1979年から1982年までイェール大学で、1980年よりフィラデルフィアのカーティス音楽院で、1981年よりニューヨーク州マンハッタン音楽学校で教鞭を執る。1990年より没年まで、新日本フィルハーモニー交響楽団の指揮者に就任。晩年は夏には立山山麓の立山国際ホテルに長期滞在するのを常としており、その地で逝去した。ゴールドベルクは、指揮者としてはJ.S.バッハを得意としていたが、ヴァイオリニストとしては、ラドゥ・ルプーとの共演によるモーツァルトやシューベルトのソナタの録音が名盤として、今日でも評価が高い。そこでは、しっとりと濡れたような音色の美しさや、20世紀のヴァイオリニストとしては控えめなビブラート、音楽そのものをいつくしむような作品への誠実な取り組みが認められる。なお、彼の愛器だったグァルネリ・デル・ジェス『バロン・ヴィッタ』は、現在アメリカ合衆国連邦議会図書館に寄贈され、保管されている。
1986年7月にマキタの100％出資子会社として城山開発が設立。城山開発は1993年10月にキャッスルヒルカントリークラブをオープンし、約1000名の会員を有していた。なおこの当時、マキタはゴルフ場の道向かいに完全子会社「マキタ一宮」を置き工場を稼働していた（現在はイトモルの工場となっている）。創業以来、毎期営業赤字が続き、赤字解消や約136億円になる預託金償還問題の解決の見通しが立たず、城山開発は2004年9月8日に名古屋地方裁判所へ民事再生法を申請を行った。再生計画案は2005年4月11日付けで名古屋地裁から認可決定を受け、この再生計画案に従い、城山開発の親会社にあたるマキタが会員に預託金の50%を弁済し、ゴルフ場事業は東京建物に営業譲渡。城山開発もマキタは資本金を100％減資し、東京建物が増資を引き受けて100％子会社化することになった。2008年3月3日、東京建物系列のゴルフ場運営会社ジェイゴルフが株式を取得。傘下となる。2009年10月30日にアコーディア・ゴルフがキャッスルヒルカントリークラブを含む6社のゴルフ場株式譲渡契約を締結、同年12月11日に譲渡した。
キャラクターの元となった刀剣「燭台切光忠」は水戸徳川家が所有し関東大震災の際に焼失したとされていたが、当ゲームのサービス開始以後、水戸徳川家の家宝を保管する徳川ミュージアムへ燭台切光忠の所在についての問い合わせが急増し、それを受けて保管品を調査した結果、2015年4月に再発見に至った。その後、罹災前の燭台切光忠を復元する計画が持ち上がり、2018年1月に本歌と写しの同時展示が徳川ミュージアムにて行われた。また同年6月にはニトロプラスへ写しの押形が贈られた。キャラクターの元となった大太刀「蛍丸」は阿蘇神社に奉納されていた旧国宝であったが、太平洋戦争終戦直後にGHQに接収されてより行方不明となっていた。21世紀になって関市で復元計画が持ち上がり、伝存する押形や墨絵を参考に2017年3月の完成を目指し、各務原市・関市・美濃加茂市共同で2015年11月にクラウドファンディングを立ち上げてネットで資金を募ったところ、開始5時間で目標額の550万円を越え、4日過ぎには3221万円に達した。この計画に資金が集中した原因として「刀剣乱舞」の人気も指摘されている。また、最高額出資者は「刀剣乱舞」を制作したニトロプラス代表の小坂で、彼は2016年2月27日の阿蘇神社におけるプロジェクト開始の「奉納鍛錬」儀式と、2017年6月17日の完成奉告式典にも参列している。刀匠は3振りを作刀し、1振りは不明前に所有していた阿蘇神社に奉納され、1振りは関鍛冶伝承館に寄贈され9月29日に一般公開された。残る1振りは当初より最高額出資者への返礼品とされていたため、ニトロプラス代表の小坂へ贈られ、「蛍丸写 影打」として「刀剣乱舞」関連の各種イベントにて随時公開されている。久能山東照宮は2017年12月、所蔵する刀剣のうち修復が急務とされる10振りの修復資金を捻出すべくクラウドファンディングを立ち上げた。ニトロプラスもこれに協力すべく、同宮に所蔵され「刀剣乱舞」のキャラクターにも採用された刀剣「ソハヤノツルキ」のグッズを返礼品として提供したところ、開始6時間で目標額の500万円を突破し、最終的には6倍近い約2936万円に達した。2019年3月には東大阪市の石切劔箭神社により「創建2677年 石切劔箭神社 『刀剣奉納』プロジェクト」が発足し、「太刀石切丸」の復元刀を御祭神に奉納するために3月26日からクラウドファンディングサービス「BOOSTER」として募集したところ、「刀剣乱舞-ONLINE-」による特別返礼品のグッズ協力もあり、開始4時間あまりで目標金額の1000万円に到達した。