Sachverhalt:
A.
Die Staatsanwaltschaft III des Kantons Zürich führt gegen A._ eine Strafuntersuchung wegen wirtschaftlichem Nachrichtendienst und weiterer Delikte. Am 10. Juni 2016 verlangte der Beschuldigte den Ausstand des untersuchungsführenden Staatsanwalts Dr. Peter Giger. Die Staatsanwaltschaft III überwies die Sache dem Obergericht des Kantons Zürich. Mit Schreiben vom 21. September 2016 teilte der Leitende Staatsanwalt der Staatsanwaltschaft III, Peter Pellegrini, Dr. Giger mit, dass er im Rahmen der Ressourcenplanung das Strafverfahren an ein noch zu bestimmendes Büro der Staatsanwaltschaft III umteilen werde. Diese Umteilung bezwecke ausschliesslich, dass die betroffenen Untersuchungen, die derzeit wegen Ausstandsbegehren blockiert seien, wieder aktiv vorangetrieben werden könnten. Mit Eingabe vom 23. September 2017 beantragte die Staatsanwaltschaft III dem Obergericht, das Ausstandsverfahren wegen Gegenstandslosigkeit abzuschreiben. A._ antwortete am 16. November 2016, dieser Antrag sei abzuweisen.
Mit Beschluss vom 18. Januar 2017 schrieb das Obergericht das Ausstandsgesuch gegen Staatsanwalt Dr. Giger wegen Gegenstandslosigkeit ab (Dispositiv-Ziffer 1). Es erhob keine Gerichtskosten und sprach dem Gesuchsteller eine Parteientschädigung zu (Dispositiv-Ziffern 2 und 3).
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 23. Februar 2017 beantragt A._, Dispositiv-Ziffer 1 des Beschlusses des Obergerichts sei aufzuheben und die Sache sei zur materiellen Beurteilung an die Vorinstanz zurückzuweisen.
Das Obergericht hat auf eine Stellungnahme verzichtet. Die Staatsanwaltschaft III hat sich nicht vernehmen lassen. Staatsanwalt Dr. Giger beantragt, der angefochtene Beschluss sei zu bestätigen.

Erwägungen:
1.
1.1. Der angefochtene Entscheid schliesst das Strafverfahren nicht ab. Er stellt einen Zwischenentscheid dar. Gemäss <ref-law> ist die Beschwerde gegen selbständig eröffnete Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren zulässig (Abs. 1). Diese Entscheide können später nicht mehr angefochten werden (Abs. 2). Gegen andere selbständig eröffnete Zwischenentscheide ist die Beschwerde gemäss <ref-law> zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
1.2. Das Obergericht fällte seinen Beschluss zwar in einem Ausstandsverfahren. Inhaltlich entschied es jedoch nicht über die Begründetheit des Ausstandsbegehrens, weshalb <ref-law> nicht zur Anwendung kommt (Urteil 4A_485/2010 vom 3. Februar 2011 E. 1.2 mit Hinweisen; vgl. auch <ref-ruling> E. 2.2 S. 291, wonach ein Zwischenentscheid, der die Frage der Zuständigkeit oder des Ausstands nicht definitiv beantwortet, nicht unter <ref-law> fällt). Dem Beschwerdeführer geht es denn offenbar auch ausschliesslich darum zu klären, ob die von Staatsanwalt Dr. Giger erhobenen Beweise nach <ref-law> verwertbar sind (vgl. dazu Urteile 1B_5/2016 vom 23. Mai 2016 E. 2.2.2; 4A_255/2011 vom 4. Juli 2011 E. 1.2; je mit Hinweisen).
1.3. Der Beschwerdeführer macht nicht geltend, dass der angefochtene Entscheid einen nicht wieder gutzumachenden Nachteil bewirken könne (<ref-law>). Dies liegt auch nicht auf der Hand. Zudem würde die Gutheissung der Beschwerde auch nicht sofort einen Endentscheid herbeiführen (<ref-law>).
2.
Auf die Beschwerde ist aus diesen Gründen nicht einzutreten.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Es ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 1-3 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft III und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 9. Mai 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold