Sachverhalt: A. Die Staatsanwaltschaft Zürich-Sihl führt gegen B._ eine Strafuntersuchung wegen grober Verletzung der Verkehrsregeln, weil mit einem Fahrzeug ihrer Firma die Höchstgeschwindigkeit innerorts um 25 km/h überschritten wurde. Anlässlich der staatsanwaltschaftlichen Einvernahme vom 20. September 2017 gab sie zu Protokoll, dass A._ als Lenker des Fahrzeuges in Frage komme. Daraufhin sandte die Staatsanwaltschaft am 5. Oktober 2017 eine E-Mail an die E-Mail-Adresse "..." mit folgendem Inhalt: "Sehr geehrte Herren Im Fall 2017/15479 möchte Herr Staatsanwalt Neff mit Ihnen, Herr A._, eine Einvernahme als Auskunftsperson durchführen. Wir würden um 14.00 Uhr beginnen und rechnen mit ca. 1-2 Stunden. Ich kann Ihnen hierzu folgende Daten anbieten: 20./27./28./29./30. November. Für Ihre Rückmeldung bis spätestens 11. Oktober 2017 bin ich Ihnen dankbar." Am 13. Oktober 2017 stellte A._ ein Ausstandsgesuch gegen Staatsanwalt Neff. Er machte geltend, der Staatsanwalt habe durch die genannte E-Mail zu erkennen gegeben, dass ihm seine Privatsphäre gleichgültig sei, weshalb er sich nicht vorstellen könne, dass er von ihm rechtskonform einvernommen werden würde. Staatsanwalt Neff nahm mit Schreiben vom 23. Oktober 2017 Stellung zum Ausstandsgesuch. Er teilte A._ mit, bei der E-Mail an die allgemeine Adresse seiner Kanzlei handle es sich um einen Fehler seines Sekretariats und entschuldigte sich dafür. Staatsanwalt Neff erklärte, er erachte sich nicht als befangen und setzte A._ eine Frist zur Mitteilung an, ob er an seinem Gesuch festhalten oder dieses zurückziehen wolle. Am 3. November 2017 teilte A._ mit, dass er von Rechtsanwalt Schmid vertreten werde und beantragte eine Fristerstreckung bis zum 20. November 2017. Staatsanwalt Neff erstreckte mit Fax vom 6. November 2017 die Frist bis zum 13. November 2017. Mit Schreiben vom 9. November 2017 bat A._ erneut um eine Fristerstreckung bis am 20. November 2017, welche Staatsanwalt Neff mit Schreiben vom 9. November 2017 gewährte. A._ reichte sodann am 20. November 2017 eine Stellungnahme ein und teilte mit, dass er am Ausstandsgesuch festhalte. Am 23. November 2017 überwies Staatsanwalt Neff das Ausstandsgesuch dem Obergericht des Kantons Zürich. Mit Verfügung vom 1. Dezember 2017 retournierte dieses die Akten an die Staatsanwaltschaft mit der Aufforderung, die Akten zu akturieren. A._ stellte bezugnehmend auf diese Verfügung am 7. Dezember 2017 ein Gesuch um Akteneinsicht und die Gelegenheit zur Stellungnahme. Mit Beschluss vom 12. Dezember 2017 wies das Obergericht das Ausstandsgesuch vom 13. Oktober 2017 ab. B. Gegen den Entscheid des Obergerichts hat A._ am 5. Februar 2018 Beschwerde in Strafsachen ans Bundesgericht erhoben. Er beantragt, der Beschluss des Obergerichts sei aufzuheben. Eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Sowohl der Beschwerdegegner als auch das Obergericht haben auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft hat sich nicht vernehmen lassen.