Sachverhalt:
A.
Die Staatsanwaltschaft Zürich-Sihl führt gegen B._ eine Strafuntersuchung wegen grober Verletzung der Verkehrsregeln, weil mit einem Fahrzeug ihrer Firma die Höchstgeschwindigkeit innerorts um 25 km/h überschritten wurde. Anlässlich der staatsanwaltschaftlichen Einvernahme vom 20. September 2017 gab sie zu Protokoll, dass A._ als Lenker des Fahrzeuges in Frage komme.
Daraufhin sandte die Staatsanwaltschaft am 5. Oktober 2017 eine E-Mail an die E-Mail-Adresse "..." mit folgendem Inhalt:
"Sehr geehrte Herren
Im Fall 2017/15479 möchte Herr Staatsanwalt Neff mit Ihnen, Herr A._, eine Einvernahme als Auskunftsperson durchführen. Wir würden um 14.00 Uhr beginnen und rechnen mit ca. 1-2 Stunden.
Ich kann Ihnen hierzu folgende Daten anbieten:
20./27./28./29./30. November.
Für Ihre Rückmeldung bis spätestens 11. Oktober 2017 bin ich Ihnen dankbar."
Am 13. Oktober 2017 stellte A._ ein Ausstandsgesuch gegen Staatsanwalt Neff. Er machte geltend, der Staatsanwalt habe durch die genannte E-Mail zu erkennen gegeben, dass ihm seine Privatsphäre gleichgültig sei, weshalb er sich nicht vorstellen könne, dass er von ihm rechtskonform einvernommen werden würde. Staatsanwalt Neff nahm mit Schreiben vom 23. Oktober 2017 Stellung zum Ausstandsgesuch. Er teilte A._ mit, bei der E-Mail an die allgemeine Adresse seiner Kanzlei handle es sich um einen Fehler seines Sekretariats und entschuldigte sich dafür. Staatsanwalt Neff erklärte, er erachte sich nicht als befangen und setzte A._ eine Frist zur Mitteilung an, ob er an seinem Gesuch festhalten oder dieses zurückziehen wolle. Am 3. November 2017 teilte A._ mit, dass er von Rechtsanwalt Schmid vertreten werde und beantragte eine Fristerstreckung bis zum 20. November 2017. Staatsanwalt Neff erstreckte mit Fax vom 6. November 2017 die Frist bis zum 13. November 2017. Mit Schreiben vom 9. November 2017 bat A._ erneut um eine Fristerstreckung bis am 20. November 2017, welche Staatsanwalt Neff mit Schreiben vom 9. November 2017 gewährte. A._ reichte sodann am 20. November 2017 eine Stellungnahme ein und teilte mit, dass er am Ausstandsgesuch festhalte. Am 23. November 2017 überwies Staatsanwalt Neff das Ausstandsgesuch dem Obergericht des Kantons Zürich. Mit Verfügung vom 1. Dezember 2017 retournierte dieses die Akten an die Staatsanwaltschaft mit der Aufforderung, die Akten zu akturieren. A._ stellte bezugnehmend auf diese Verfügung am 7. Dezember 2017 ein Gesuch um Akteneinsicht und die Gelegenheit zur Stellungnahme.
Mit Beschluss vom 12. Dezember 2017 wies das Obergericht das Ausstandsgesuch vom 13. Oktober 2017 ab.
B.
Gegen den Entscheid des Obergerichts hat A._ am 5. Februar 2018 Beschwerde in Strafsachen ans Bundesgericht erhoben. Er beantragt, der Beschluss des Obergerichts sei aufzuheben. Eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Sowohl der Beschwerdegegner als auch das Obergericht haben auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft hat sich nicht vernehmen lassen.

Erwägungen:
1.
1.1. Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen (vgl. Art. 59 Abs. 1 i.V.m. <ref-law>) Zwischenentscheid des Obergerichts Zürich, gegen den gemäss Art. 78 ff. in Verbindung mit <ref-law> grundsätzlich die Beschwerde in Strafsachen an das Bundesgericht offensteht. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, weshalb auf die Beschwerde einzutreten ist.
1.2. Mit der Beschwerde an das Bundesgericht können Rechtsverletzungen im Sinne von <ref-law> gerügt werden. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten. Insoweit prüft das Bundesgericht nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (<ref-law>; <ref-ruling> E. 5.1 S. 237; <ref-ruling> E. 1.4.2 S. 254).
2.
2.1. Der Beschwerdeführer rügt vorab eine Verletzung seines Anspruchs auf rechtliches Gehör.
2.2. Der Anspruch auf rechtliches Gehör nach <ref-law> und Art. 6 Ziff. 1 EMRK umfasst als Mitwirkungsrecht all jene Befugnisse, die einer Partei einzuräumen sind, damit sie in einem Verfahren ihren Standpunkt wirksam zur Geltung bringen kann (<ref-ruling> E. 5.1 S. 293 mit Hinweisen). Die betroffene Person hat insbesondere das Recht, zu den wesentlichen Punkten Stellung nehmen zu können, bevor der Entscheid gefällt wird; dazu muss sie vorweg Einsicht in die massgeblichen Akten nehmen können (<ref-ruling> E. 3.1 S. 494). Das Akteneinsichtsrecht bezieht sich auf sämtliche verfahrensbezogenen Akten, die geeignet sind, Grundlage des Entscheids zu bilden. Die Akteneinsicht ist demnach auch zu gewähren, wenn die Ausübung des Akteneinsichtsrechts den Entscheid in der Sache nicht zu beeinflussen vermag. Die Einsicht in die Akten, die für ein bestimmtes Verfahren erstellt oder beigezogen wurden, kann demnach nicht mit der Begründung verweigert werden, die fraglichen Akten seien für den Verfahrensausgang belanglos. Es muss vielmehr dem Betroffenen selber überlassen sein, die Relevanz der Akten zu beurteilen (<ref-ruling> E. 3.2 S. 389). Damit die Beteiligten die Möglichkeit haben, ein Akteneinsichtsgesuch zu stellen, müssen sie über den Beizug neuer entscheidwesentlicher Akten informiert werden. Dies gilt jedenfalls für Akten, welche sie nicht kennen und auch nicht kennen können (<ref-ruling> E. 6.2 S. 391 mit Hinweisen; Urteil 1C_50/2011 vom 8. August 2011 E. 2.2 mit Hinweisen).
Eine nicht besonders schwerwiegende Verletzung des rechtlichen Gehörs kann ausnahmsweise als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Rechtsmittelinstanz zu äussern, die sowohl den Sachverhalt wie auch die Rechtslage frei überprüfen kann. Unter dieser Voraussetzung ist darüber hinaus - im Sinne einer Heilung des Mangels - selbst bei einer schwerwiegenden Verletzung des Anspruchs auf rechtliches Gehör von einer Rückweisung der Sache an die Vorinstanz abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (<ref-ruling> E. 2.8.1 S. 226; <ref-ruling> E. 2.3.2 S. 197 f.; Urteil 1C_254/2017 vom 5. Januar 2018 E. 2.5; je mit Hinweisen).
2.3. Der Beschwerdeführer macht geltend, sein Anspruch auf rechtliches Gehör sei in doppelter Hinsicht verletzt worden. Einerseits habe er mit Schreiben vom 7. Dezember 2017 bei der Vorinstanz um Akteneinsicht und Fristansetzung zur Stellungnahme ersucht. Diese habe aber, ohne auf sein Schreiben zu reagieren, am 12. Dezember 2017 den abweisenden Beschluss gefasst. Schliesslich habe er erst am 24. Januar 2018 Einsicht in die Akten nehmen können. Durch dieses Verhalten habe sich die Vorinstanz zudem widersprüchlich verhalten und den Untersuchungsgrundsatz verletzt.
Andererseits habe sich bei der Akteneinsicht vom 24. Januar 2018 herausgestellt, dass ihm das Schreiben des Beschwerdegegners vom 23. November 2017 an die Vorinstanz gar nie zugestellt worden sei. Dadurch sei sein Replikrecht verletzt worden, weil er zu diesem Schreiben keine Stellung habe nehmen können, bevor die Vorinstanz ihren Entscheid gefasst habe.
2.4. Die Vorinstanz ist hingegen der Auffassung, es liege keine Verletzung des rechtlichen Gehörs vor und der Beschwerdeführer habe genügend Zeit gehabt, um Akteneinsicht zu verlangen und Stellung zu nehmen.
2.5. Vorab gilt es festzuhalten, dass keine Aktenstücke ersichtlich sind, in welche dem Beschwerdeführer die Einsicht verwehrt worden wäre und auf welche sich die Vorinstanz bei ihrer Entscheidung vom 12. Dezember 2017 abgestützt hatte (mit Ausnahme des Schreibens vom 23. November 2017, dazu sogleich). Er macht dies zu Recht auch nicht geltend. Bei den betreffenden Aktenstücken handelt es sich entweder um Eingaben des Beschwerdeführers selbst oder um Zwischenverfügungen der Vorinstanz, die ihm in Kopie zugestellt worden sind. Da das Recht auf Akteneinsicht keinem Selbstzweck dient, sondern den Parteien die Kenntnisnahme des gesamten Prozessstoffes ermöglichen soll, ist daher fraglich, ob überhaupt eine Verletzung des rechtlichen Gehörs vorliegt. Selbst wenn dies bejaht werden sollte, hätte diese geringfügige Beeinträchtigung vorliegend als geheilt zu gelten. Die Rückweisung der Sache an die Vorinstanz würde zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen. Dem Beschwerdeführer wurde nämlich am 24. Januar 2018 Einsicht in die dieses Verfahren betreffenden Akten gewährt. Spätestens seit diesem Zeitpunkt und somit vor Einreichung der Beschwerde beim Bundesgericht war ihm mithin bekannt, dass sich der Entscheid der Vorinstanz vom 12. Dezember 2017 auf keine anderen als die ihm bereits bekannten Akten stützte. Die von ihm am 7. Dezember 2017 beantragte Akteneinsicht hätte sich insofern ohnehin als überflüssig erwiesen.
Im Übrigen ist nicht ersichtlich, inwiefern die Vorinstanz sich durch die Verweigerung der Akteneinsicht widersprüchlich verhalten respektive den Untersuchungsgrundsatz verletzt haben soll.
2.6. Die vom Beschwerdeführer geltend gemachte Verletzung des Replikrechts ist ebenfalls zu verneinen. Beim Schreiben vom 23. November 2017 handelt es sich, entgegen den Ausführungen des Beschwerdeführers in der Beschwerde vom 5. Februar 2018, nicht um eine Stellungnahme des Beschwerdegegners zum Ausstandsgesuch, sondern lediglich um das Weiterleitungsschreiben, welches bei der Übermittlung der Akten an die Vorinstanz mitgeschickt wurde. Es ist nicht ersichtlich und wird vom Beschwerdeführer auch nicht substanziiert dargetan, inwiefern ihm ein Nachteil daraus erwachsen sein soll, weil ihm dieses Schreiben nicht in Kopie zugestellt worden ist. Der Beschwerdeführer konnte seine Stellungnahme an die Vorinstanz vielmehr in Kenntnis aller relevanten Akten verfassen.
3.
3.1. Weiter ist streitig, ob ein Ausstandsgrund vorliegt.
3.2. <ref-law> zählt verschiedene Gründe auf, die zum Ausstand von in einer Strafbehörde tätigen Personen führen. Nach <ref-law> trifft dies namentlich aus anderen (als den in lit. a-e der gleichen Bestimmung genannten) Gründen zu, insbesondere wenn die in der Strafverfolgung tätige Person wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsbeistand befangen sein könnte. <ref-law> konkretisiert die Verfassungsbestimmung von <ref-law> sowie Art. 6 EMRK. Danach hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirken sachfremder Umstände entschieden wird. <ref-law> soll zu der für einen korrekten und fairen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen. Solche Umstände können entweder in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein (<ref-ruling> E. 3.4 S. 116 ff. mit Hinweisen). Bei der Anwendung von <ref-law> ist entscheidendes Kriterium, ob bei objektiver Betrachtungsweise der Ausgang des Verfahrens noch als offen erscheint. Wird der Ausstandsgrund aus materiellen oder prozessualen Rechtsfehlern abgeleitet, so sind diese nur wesentlich, wenn sie besonders krass sind und wiederholt auftreten, sodass sie einer schweren Amtspflichtverletzung gleichkommen und sich einseitig zulasten einer der Prozessparteien auswirken; andernfalls begründen sie keinen hinreichenden Anschein der Befangenheit (<ref-ruling> E. 3.2.3 S. 180; Urteil des Bundesgerichts 1B_101/2017 vom 7. Juni 2017 E. 2.1).
3.3. Der Beschwerdeführer ist der Ansicht, die Vorinstanz sei aufgrund einer unrichtigen Sachverhaltsfestellung zum Schluss gekommen, es liege kein Ausstandsgrund vor. Dem sei aber nicht so. Der Beschwerdegegner habe verschiedene elementare Bestimmungen der StPO qualifiziert verletzt, wodurch der Anschein der Befangenheit begründet sei. Indem der Beschwerdegegner nicht versucht habe, seinen Wohnsitz ausfindig zu machen und stattdessen eine E-Mail habe verschicken lassen, habe er den Untersuchungsgrundsatz verletzt. Durch das Versenden der Terminanfrage an die allgemeine Kanzleiadresse habe er zudem die Bestimmungen über die Form der Mitteilungen und der Zustellung gemäss Art. 85 f. StPO ausser Acht gelassen. Durch sein Vorgehen habe der Beschwerdegegner den objektiven Tatbestand der Amtsgeheimnisverletzung erfüllt, das Datenschutzrecht verletzt und widerrechtlich in seine Persönlichkeit eingegriffen. Zudem zeuge auch sein Verhalten bei der beantragten Fristverlängerung sowie der ausgeübte Druck betreffend den Rückzug des Ausstandsgesuchs von Befangenheit.
3.4. Die Vorinstanz ist demgegenüber der Auffassung, dem Beschwerdegegner sei kein Fehlverhalten bezüglich seines Vorgehens vorzuwerfen. Zum einen sei die E-Mail nicht vom Beschwerdegegner selbst versandt worden, dieser habe lediglich dem Sekretariat den Auftrag erteilt, einen Einvernahmetermin zu vereinbaren. Zum anderen sei diese E-Mail-Adresse über eine Suchanfrage bei Google auffindbar, wenn man die der Staatsanwaltschaft bekannten Angaben des Beschwerdeführers eingebe. Es sei daher nicht zu beanstanden, dass die Staatsanwaltschaft diese Adresse verwendet habe. Soweit der Beschwerdeführer weiter einen Befangenheitsgrund im Fax des Beschwerdegegners vom 6. November 2017 erblicke, sei das Gegenteil der Fall. Mit diesem Fax sei vordergründig die von ihm beantragte Fristerstreckung gewährt worden. Weiter habe ihn der Beschwerdegegner darauf hingewiesen, dass die formelle Behandlung des Ausstandsbegehrens durch die zuständige Behörde erfolge, sofern es innert Frist nicht zurückgenommen werde. Daraus lasse sich aber keine Befangenheit ableiten. Da kein hinreichender Anschein der Befangenheit vorliege, sei das Ausstandsgesuch abzuweisen.
3.5. Der Umstand, dass der Beschwerdegegner seinem Sekretariat den Auftrag erteilt hat, Kontakt mit dem Beschwerdeführer aufzunehmen, um eine Einvernahme zu vereinbaren, schafft keinen Ausstandsgrund. Dem Beschwerdegegner kann diesbezüglich entgegen den Ansichten des Beschwerdeführers kein Fehlverhalten vorgeworfen werden. Selbstredend überlässt ein Staatsanwalt die Vereinbarung von Einvernahmeterminen üblicherweise dem dafür vorgesehenen Sekretariat. Weshalb sich aus dieser keineswegs aussergewöhnlichen Vorgehensweise eine Befangenheit des Beschwerdegegners ableiten lassen soll, ist nicht ersichtlich. Soweit der Beschwerdeführer darüber hinaus vorbringt, die Vorinstanz habe den massgeblichen Sachverhalt offensichtlich unrichtig festgestellt, da sie nicht beachtet habe, dass das Verhalten der Sekretärin dem Beschwerdegegner zuzurechnen sei, kann ihm nicht gefolgt werden. Der Beschwerdegegner entschuldigte sich zudem in seinem Schreiben vom 23. Oktober 2017 ausdrücklich und stellte klar, dass er in keiner Weise beabsichtigt habe, den Beschwerdeführer an den Pranger zu stellen. Es ist auch kein Grund ersichtlich, warum der Beschwerdegegner den Beschwerdeführer in seiner Kanzlei hätte blossstellen wollen. Im Übrigen ist die Zustellung von Mitteilungen ohne unmittelbare Rechtswirkung durch einfache Briefpost, Telefax oder E-Mail zulässig (vgl. Urteil 6B_390/2013 vom 6. Februar 2014 E. 2.3.2 mit Hinweisen), womit eine Verletzung von Art. 85 f. StPO vorliegend ausser Betracht fällt.
Das Argument des Beschwerdeführers, der Fax des Beschwerdegegners vom 6. November 2017 lege ebenfalls eine Befangenheit nahe, da er mit diesem Schreiben Druck ausgeübt habe, das Ausstandsgesuch zurückzuziehen, ist nicht stichhaltig. Indem der Beschwerdegegner den Beschwerdeführer bei der Gewährung der Fristerstreckung lediglich darauf hingewiesen hat, dass, sofern keine Stellungnahme erfolge, das Ausstandsbegehren weitergeleitet werde, hat er keinen Druck ausgeübt. Mithin ist kein Befangenheitsgrund ersichtlich. Weitere Umstände, die den Beschwerdegegner als befangen erscheinen lassen könnten, sind nicht ersichtlich und werden auch nicht substanziiert geltend gemacht. Der angefochtene Entscheid verletzt demnach kein Bundesrecht.
4.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft Zürich-Sihl und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 10. April 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Die Gerichtsschreiberin: Sauthier