スイスのザンクト・ガレン州で生まれた。イエナ大学でエルンスト・ヘッケルに動物学を学んだ。1884年にブラジル国立博物館（Museu Imperial e Nacional）の創立者、Ladislau de Souza Mello Nettoの招きで、1885年にブラジルに渡り、国立博物館で働いた。1890年に博物館の主要な後援者のブラジル皇帝、ペドロ2世 がクーデターにより廃位されると、ゲルディは解雇された。パラー州の知事から、1866年にドミンゴス・ソアレス・フェレイラ・ペンナが設立したパラーの自然史・民俗学博物館の再建のために招かれ、1894年にベレンに移った。ゲルディは外国人の研究者を博物館で働いてもらうことによって博物館を発展させた。博物館で働いた学者には植物学者のジャック・ユーベル（Jacques Huber）、動物学者のエミーリエ・スネトラーゲ（Emilie Snethlage）、地質学者のカツァー（Friedrich Katzer）、Alexander Karl von Kraatz-Koschlaや 昆虫学者のデュッケ（Adolpho Ducke）などがいる。1902年に博物館はゲルディの功績を称えて、Museu Paraense Emílio Goeldi（エミリオ・ゴエルジ・パラー博物館）と改名された。1905年に健康上の理由、職を辞し、スイスに帰国し、ベルンで没した。エミリオ・ゴエルジ・パラー博物館の館長はヒューバーやスネトラーゲ、デュッケによって引き継がれた。多くのブラジルの動植物にゲルディの名前が献名されている。例えば、ゲルディモンキー(Calloimico goeldii　(Thomas,  1904)やアリドリ科のMyrmeciza goeldii（和名、ブラジルアリドリ）がある。
姉が購入したビートルズ、ベンチャーズのレコードを中学生時に聴き始める。姉に連れて行かれたアストロノウツのコンサートで、前座で出ていた寺内タケシとブルージーンズの寺内タケシのギターテクニック、アストロノウツの「太陽の彼方に」に衝撃を受ける。それがきっかけでギターを弾きたくなり、母親にねだってエレキギターを買ってもらい、ギター教室に通い始める。譜面が読めず、耳コピーしたり先生の真似をして弾いていた。高校一年生の時、学校のイベントで軽音楽部の演奏を見ていたところ、スタンダードジャズをやっており、未知の分野に憧れて同部に入部する。その演奏の中で、上手いドラマーがいると後藤が思った人物が林立夫だった。入部後、ジャズについて知るため、ギターを変えたりピックアップをギブソンに注文したりして形にこだわるようになる。短期間だが恵比寿にあるヤマハ音楽教室に通い、そこの先生だった中牟礼貞則に学ぶ。同じクラスの小原礼、後輩の矢野顕子、違う学校だった鈴木茂と交流があった。みのもんたが司会をしていた文化放送のラジオ番組で、高校生バンドとして出演し、ハービー・マンの「メンフィス・アンダーグラウンド」を演奏したことがある。大学に進学するもろくに行かずにいたある日、林立夫から電話がかかってきて「ベースやって!」と頼まれる。ブレッド&バターと岸部シローのジョイントツアーでベーシストがいなかったためだった。ギター担当だった後藤はツアー開始の数日前に四谷のスタジオで岸部シローの兄岸部一徳についてベースを習得し、ツアーでは岸部一徳に借りたフェンダー・ジャズベースを使用して演奏した。ツアー後、ブレッド&バターのレコーディングに呼ばれたことが、プロのベーシストとなるきっかけであった。ちなみに同時期にレコーディング参加した南正人のアルバム『回帰線』ではギタリストとして演奏している。その後、小坂忠のバックバンドへの参加からベーシストとしての自覚が芽生え、ちゃんとした楽器を持つべく、当時乗っていたカローラを売り払い、銀座の山野楽器にて10万円で売られていたテレキャスターベースを購入する。小坂忠とフォージョーハーフやよしだたくろうのセッションバンド新六文銭に参加。その後、トランザムやティン・パン・アレーのセッションにも参加する。高橋幸宏に誘われサディスティック・ミカ・バンドの「HOT! MENU」のレコーディングに参加、直後のイギリス公演で絶賛される。サディスティック・ミカ・バンド解散後は高橋幸宏、高中正義、今井裕とサディスティックスを結成し活動するが、メンバーそれぞれの活動が活発になり自身も他のアーティストのアレンジや作曲、スタジオミュージシャンなどの仕事が増え自然消滅となる。フォーライフ・レコードのディレクターに声を掛けて貰ったことがきっかけで、原田真二の「シャドー・ボクサー」で初めて編曲を担当する。その後編曲家としての活動も開始し、八神純子、中島みゆきなどの楽曲を手がける。沢田研二の『TOKIO』で第22回日本レコード大賞編曲賞を受賞した。他アーティストへのサポートの傍ら、ソロアルバムを2枚リリース。1980年代に入ると作曲家としての活動を本格的に開始。ソフトクリーム、一世風靡セピアを始め、近藤真彦、シブがき隊、中森明菜、吉川晃司、とんねるず、おニャン子クラブとその関連ユニット、工藤静香などの作・編曲を多く手がけた。1983年、CBSソニーにアーティスト兼プロデューサーとして迎えられ、ミニアルバム専門のレーベル「FITZBEAT」を立ち上げる。レーベルプロデューサーとして、レベッカ等を世に送り出す傍ら、ソロアルバムを3作を発表する。『CITY TRICKLES ―街の雫―』は12曲入りだが、6曲入りミニアルバムを2枚パッケージした変則盤である。またレベッカの4枚目にして初の10曲入りフルアルバム『REBECCA IV 〜Maybe Tomorrow〜』の帯には「FITZBEAT SPECIAL」と書かれていたが、事実上このアルバムを境に、ミニアルバム専門というレーベルコンセプトは崩壊する。1994年、日本テレビ系「NNNきょうの出来事」テーマ曲「file」を提供。BGMも担当。2003年、山木秀夫とインストゥルメンタルユニットgym結成。同年、大高清美のアルバム『Frames』のプロデュースを手がける。2004年8月、CROSSOVER JAPAN'04での共演を機に斉藤ノブ、藤井尚之とインストゥルメンタルグループNon Chords結成。名の由来はコード楽器が無いグループであることから。2006年5月、klammyと新レーベル「TUTINOK（ツチノコ）」を立ち上げ、同レーベルより彼女とのユニットWAIPでデビュー。2010年3月、『スッキリ!!』の企画で、スッキリ!!メンバーが歌う「あの頃からのラブレター」を作曲・編曲（作詞は松井五郎）。『胸キュン90's〜ひとりで聴きたい恋の唄〜』にボーナストラックとして収録された。近年は、TSMやOSMなどで講師をつとめている。当校に通っている学生によるユニット（「team GO.ON」「GO WEST」）のプロデュースも手掛けている。