Sachverhalt:
A.
Die Staatsanwaltschaft Zürich führt ein Strafverfahren gegen A._ wegen des Verdachts der versuchten Vergewaltigung. Am 24. Oktober 2018 reichte A._ ein Ausstandsbegehren gegen den untersuchungsleitenden Staatsanwalt Pascal Gossner ein. Dieser übermittelte das Ausstandsgesuch gleichentags zum Entscheid an das Obergericht des Kantons Zürich. Mit Beschluss vom 21. Januar 2019 wies dieses das Ausstandsgesuch ab.
B.
Mit Eingabe vom 28. Februar 2019 führt A._ Beschwerde in Strafsachen an das Bundesgericht. Er beantragt, der Beschluss des Obergerichts vom 21. Januar 2019 sei vollumfänglich aufzuheben und Staatsanwalt Pascal Gossner sei zu verpflichten, in der gegen ihn geführten Strafuntersuchung in den Ausstand zu treten. Weiter stellt er ein Gesuch um unentgeltliche Prozessführung und Rechtsverbeiständung.
Der Beschwerdegegner, die Staatsanwaltschaft sowie das Obergericht verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Beim angefochtenen Beschluss handelt es sich um einen kantonal letztinstanzlichen Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG i.V.m. <ref-law>). Gemäss <ref-law> ist gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig. Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde befugt. Auf sein Rechtsmittel ist grundsätzlich einzutreten.
2.
2.1. In formeller Hinsicht macht der Beschwerdeführer eine Verletzung seines Anspruchs auf rechtliches Gehör geltend. Die Vorinstanz habe sich im angefochtenen Entscheid nicht damit auseinandergesetzt, dass der Beschwerdegegner die entlastende Eingabe der Privatklägerin vom 19. Oktober 2018, wonach sie keine Einwendungen gegen eine Entlassung des Beschwerdeführers aus der Untersuchungshaft habe, nicht umgehend an das Zwangsmassnahmengericht weitergeleitet. Diese Nichtweiterleitung, welche mitunter Grund für das Ausstandsgesuch gewesen sei, habe er in seiner Stellungnahme an die Vorinstanz ausdrücklich thematisiert. Die Vorinstanz habe entscheidwesentliche Tatsachen unberücksichtigt gelassen und ihre Begründungspflicht verletzt. Der Entscheid sei folglich aufgrund der Gehörsverletzung aufzuheben.
2.2. Aus dem Anspruch auf rechtliches Gehör gemäss <ref-law> folgt die Pflicht der Behörden, ihren Entscheid zu begründen. Das Gericht muss in seiner Begründung wenigstens kurz die wesentlichen Überlegungen nennen, von denen es sich hat leiten lassen und auf die es seinen Entscheid stützt. Es darf sich auf die massgebenden Gesichtspunkte beschränken und muss sich nicht ausdrücklich mit jeder tatsächlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen und diese widerlegen (<ref-ruling> E. 4.3.2 S. 436 mit Hinweisen). <ref-law> wird allerdings dann verletzt, wenn es ein Gericht unterlässt, sich zu Rügen zu äussern, die eine gewisse Überzeugungskraft aufweisen, oder wenn es bei seiner Entscheidfindung gewichtige Behauptungen und Argumente nicht berücksichtigt (<ref-ruling> E. 3.2.1 S. 564 f.; Urteil 1C_80/2018 vom 23. Mai 2019 E. 3.1; je mit Hinweis).
2.3. Wie der Beschwerdeführer zutreffend ausführt, hat sich die Vorinstanz im angefochtenen Entscheid tatsächlich nicht mit seiner Rüge auseinandergesetzt, wonach die Eingabe der Privatklägerin vom Beschwerdeführer nicht umgehend weitergeleitet worden sei. Es ist insofern nicht klar, inwieweit bzw. ob die Vorinstanz dieses Argument des Beschwerdeführers überhaupt berücksichtigt hat.
2.4. Der Beschwerdeführer bringt vor, eben diese Nichtweiterleitung sei "mitunter ein Grund" gewesen, weshalb er das Ausstandsgesuch gestellt habe. Beim aktenkundigen Ausstandsbegehren vom 24. Oktober 2018 fällt aber auf, dass die in diesem Zusammenhang stehenden Ziffern 2 und 6 durchgestrichen und mit der Randbemerkung "i.f. aa" (wohl für "ipse fecit Adam Arend") versehen sind. Lediglich in seiner Stellungnahme vom 6. Dezember 2018 führte der Beschwerdeführer in Ziffer 3 aus, es sei aussergewöhnlich, dass der Beschwerdegegner die entlastende Eingabe nicht sofort, sondern erst nach seiner Aufforderung anlässlich der Einvernahme vom 24. Oktober 2018, an das Zwangsmassnahmengericht weitergeleitet habe. Angesichts der Tatsache, dass dieses Argument im Ausstandsgesuch durchgestrichen ist und im Übrigen gemäss den eigenen Aussagen des Beschwerdeführers nur einen von diversen Gründen darstellt, aus welchen er die angebliche Befangenheit des Beschwerdegegners ableiten will (vgl. E. 4 f. hiernach), kann vorliegend nicht von einem derart gewichtigen Argument gesprochen werden, das die Vorinstanz zwingend zu behandeln gehabt hätte; zumal es sich ohnehin als nicht zutreffend erweist (vgl. E. 4.5 hiernach). Stattdessen durfte sich die Vorinstanz auf die ihrer Ansicht nach anderen wesentlichen Gesichtspunkte beschränken. Darin liegt jedenfalls keine Verletzung des Anspruchs auf rechtliches Gehör. Selbst wenn jedoch eine Verletzung angenommen werden würde, gälte es vorliegend dem Beschleunigungsgebot und dem Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache Rechnung zu tragen, weshalb auf eine Rückweisung zu verzichten wäre (vgl. <ref-ruling> E. 2.8.1 S. 226 mit Hinweisen). Schliesslich zeigt die eingereichte Beschwerde, dass die Begründung der Vorinstanz ausreichte, damit der Beschwerdeführer den Entscheid sachgerecht anfechten konnte (vgl. <ref-ruling> E. 5.2 S. 70 f. mit Hinweisen).
3.
3.1. In materieller Hinsicht rügt der Beschwerdeführer, der vom Beschwerdegegner verfasste Antrag auf Abweisung des Haftentlassungsgesuchs beinhalte zahlreiche Formulierungen, die von einer voreingenommenen Haltung und einer verfrühten Festlegung der Schuldfrage zeugen würden. Die Vorinstanz habe daher zu Unrecht entschieden, es läge aus objektiver Sicht kein Anschein der Befangenheit des Beschwerdegegners vor. Dadurch habe sie <ref-law>, <ref-law> und Art. 6 Ziff. 1 EMRK verletzt.
3.2. Die Ausstandsgründe für die in einer Strafbehörde tätigen Justizpersonen sind in <ref-law> geregelt. Zu den Strafbehörden gehören neben den Gerichten (<ref-law>) die Strafverfolgungsbehörden, darunter die Organe der Staatsanwaltschaft (<ref-law>). Von den in Art. 56 lit. a-e StPO geregelten besonderen Ausstandsgründen abgesehen (persönliche Interesse an der Strafsache, Vorbefassung in anderer Stellung, persönliche Beziehung zu Parteien usw.), tritt ein Staatsanwalt oder eine Staatsanwältin in den Ausstand, wenn diese Justizperson "aus anderen Gründen, insbesondere wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsbeistand, befangen sein könnte" (<ref-law>).
3.3. Befangenheit einer staatsanwaltlichen Untersuchungsleiterin oder eines Untersuchungsleiters ist nach der Praxis des Bundesgerichtes nicht leichthin anzunehmen. Zu bejahen ist sie, wenn nach objektiver Betrachtung besonders krasse oder ungewöhnlich häufige Fehlleistungen der Untersuchungsleitung vorliegen, welche bei gesamthafter Würdigung eine schwere Verletzung der Amtspflichten darstellen und sich einseitig zulasten einer der Prozessparteien auswirken (<ref-ruling> E. 3.2 S. 74 f.; Urteil 1B_535/2018 vom 16. April 2019 E. 3; je mit Hinweisen). Ansonsten sind primär die zur Verfügung stehenden Rechtsmittel gegen beanstandete Verfahrenshandlungen auszuschöpfen (vgl. <ref-ruling> E. 3.2 S. 75; <ref-ruling> E. 3b/bb S. 158 f.; je mit Hinweisen).
Auch voreilige Äusserungen der Untersuchungsleitung können in begründeten Einzelfällen geeignet sein, objektive Zweifel an ihrer Unparteilichkeit zu begründen. Dies kann zum Beispiel zutreffen, wenn eine staatsanwaltliche Einstellungsverfügung sehr oberflächlich ausfällt und jedwelche sich sachlich aufdrängende Zweifel an der Straflosigkeit der beschuldigten Person vermissen lässt, und die Untersuchungsleitung zudem nicht gewillt erscheint, ihren unzulässigen (vom zuständigen Verfahrensgericht gerügten) Standpunkt zu ändern (vgl. <ref-ruling> E. 2.4 S. 146 f.). Über solche Fälle hinaus können sich Verfahrenssituationen ergeben, in denen die Staatsanwaltschaft bereits vor Abschluss der Strafuntersuchung in rechtlicher oder tatsächlicher Hinsicht zum Gegenstand der Untersuchung Stellung nimmt und dabei unter Umständen auch ihre - aufgrund des jeweiligen Verfahrensstandes vorläufig gebildete - Meinung offen legt. Dabei darf und muss, sofern nicht besondere gegenteilige Anzeichen vorhanden sind, vorausgesetzt werden, dass die Untersuchungsleitung in der Lage ist, ihre vorläufige Beurteilung des Prozessstoffes (entsprechend dem jeweils neusten Stand des Verfahrens) ständig zu überprüfen und bei Vorliegen neuer Tatsachen und Argumente auch zu revidieren. Ein solches Vorgehen vermag in der Regel keine Parteilichkeit oder Befangenheit objektiv zu begründen. "Ungeschickte Äusserungen" eines Staatsanwaltes kommen als Ausstandsgrund nur in Frage, wenn es sich dabei um eine schwere Verfehlung gegenüber der betroffenen Partei handelt (<ref-ruling> E. 3.2.3 S. 180 mit Hinweisen).
4.
Nach Auffassung des Beschwerdeführers ergibt sich die voreingenommene Haltung des Beschwerdegegners im Wesentlichen aus folgenden Gründen:
4.1. Als Erstes macht der Beschwerdeführer geltend, die Formulierung des Beschwerdegegners in seinem Antrag auf Abweisung des Haftentlassungsgesuchs enthalte eine "vorwegnehmende Vorverurteilung". Er habe darin ausgeführt: "Der Beschuldigte versuchte, seine Ehefrau zu vergewaltigen und versuchte, seine Schwiegermutter zu schänden, zudem wurde er schon mehrfach gewalttätig gegenüber seiner Ehefrau". Mit dieser Formulierung habe er keinen Tatverdacht, sondern effektiv begangene Straftaten beschrieben und sich verfrüht und unsachlich zur Schuldfrage geäussert, wodurch er die Unschuldsvermutung verletzt habe.
Dieser Ansicht des Beschwerdeführers kann nicht gefolgt werden. Wie die Vorinstanz festgehalten hat, ist es zwar ungeschickt, dass der Beschwerdegegner den Tatvorwurf im Indikativ statt im Konjunktiv formuliert hat. Wenn die Vorinstanz erwogen hat, aus dem Kontext des gesamten Antrags auf Abweisung des Haftentlassungsgesuchs werde klar, dass der Beschwerdegegner nur von einem dringenden Tatverdacht ausgegangen sei, handelt es sich dabei, entgegen der Auffassung des Beschwerdeführers, nicht um eine Schutzbehauptung. Der Beschwerdegegner wiederholt bei der Wiederholungsgefahr einzig, was er schon unter dem vorangehenden Titel "Tatverdacht" ausgeführt hat. Daraus lässt sich aber nicht auf dessen mangelnde Unparteilichkeit schliessen. Wenn die Vorinstanz folglich festhielt, es seien aufgrund der Formulierung keine Hinweise auf eine Vorverurteilung durch den Beschwerdegegner ersichtlich, verletzte sie damit kein Bundesrecht.
4.2. Für den Beschwerdeführer ist weiter unverständlich, dass der Beschwerdegegner die Aussagen der Privatklägerin bereits "zu diesem frühen Zeitpunkt" der Untersuchung als sehr glaubhaft bezeichnet habe. Dies sei nicht nachvollziehbar, wenn beachtet werde, dass die Privatklägerin zum Tatzeitpunkt und in den darauffolgenden Einvernahmen stark alkoholisiert gewesen sei, was der Glaubhaftigkeit der Aussagen objektiv schade. Durch die verfrühte und nicht nachvollziehbare Würdigung der Aussagen müsse ebenfalls von einer Voreingenommenheit des Beschwerdegegners ausgegangen werden.
Diese Ausführungen des Beschwerdeführers überzeugen nicht. Einzig aus dem Umstand, dass der Beschwerdegegner die Aussagen der Privatklägerin als sehr glaubhaft eingestuft hat, werden keine objektiven Zweifel an der Unparteilichkeit des Beschwerdegegners begründet. Dabei handelt es sich um eine zulässige vorläufige Wertung bzw. Beweiswürdigung des Beschwerdegegners. Es liegt in der Natur der Sache, dass dieser als Verfahrensleiter eine solche vornehmen muss, um den umstrittenen Sachverhalt tatsächlich und rechtlich abzuklären (vgl. <ref-law>). Schliesslich ist davon auszugehen, dass der Beschwerdegegner in der Lage ist, seine vorläufige Beurteilung betreffend die Glaubhaftigkeit der Aussagen bzw. des Prozessstoffes ständig zu überprüfen und allenfalls, sofern sich neue Erkenntnisse ergeben, auch zu revidieren. Jedenfalls kann aufgrund dieser Aussagenwürdigung keine Voreingenommenheit bzw. Befangenheit des Beschwerdegegners festgestellt werden (vgl. E. 3.3 hiervor).
4.3. Einen dritten Anhaltspunkt für den Anschein der Befangenheit des Beschwerdegegners geht gemäss dem Beschwerdeführer aus dem Umstand hervor, dass dieser eine Aussage von ihm inhaltlich falsch zitiert habe. Dies verstosse klarerweise gegen den Grundsatz der Neutralität, zu welcher der Beschwerdegegner von Gesetzes wegen verpflichtet sei. Sein irreführendes und treuwidriges Verhalten laufe dem Grundsatz des fairen Verfahrens zuwider und zeuge von Parteilichkeit.
Der Beschwerdeführer gab anlässlich seiner Hafteinvernahme vom 14. September 2018 in Bezug auf die ihm vorgehaltene Verdunkelungsgefahr zu Protokoll: "Wenn ich frei werde, ich würde sogar nach Hamburg reisen, weil meine Mutter dort wohnt, damit ich keinen Kontakt zu meiner Frau hätte [...]". Der Beschwerdegegner zitierte den Beschwerdeführer im Antrag auf Abweisung des Haftentlassungsgesuchs indessen im Zusammenhang mit einer allfälligen Fluchtgefahr wie folgt: "Der Beschuldigte habe anlässlich der Hafteinvernahme erklärt, dass er bei seiner Freilassung nach Hamburg reisen würde, weil seine Mutter dort wohne". Damit hat er das Zitat zwar verkürzt und in einem anderen Kontext, nicht aber wie vom Beschwerdeführer behauptet, inhaltlich falsch wiedergegeben. Obschon der Beschwerdeführer der Ansicht ist, der Beschwerdegegner habe damit "Stimmung" gegen ihn machen wollen, lässt die verkürzte Wiedergabe vorliegend keine unzulässige Irreführung erkennen. Die Vorinstanz stellte zu Recht fest, dass das Aussageprotokoll den Haftakten beilag und der Beschwerdegegner im Übrigen ausdrücklich auf die korrekte Aktenstelle der vollständigen Aussage des Beschwerdeführers verwiesen hat. Das Zwangsmassnahmengericht konnte folglich die Aussage ohne weiteres nachlesen und verifizieren. Wenn die Vorinstanz daher erwog, es könne in der Form des Zitats keine Befangenheit erkannt werden, hat sie kein Bundesrecht verletzt.
4.4. Der Beschwerdeführer erblickt sodann Parteilichkeit bzw. fehlende Neutralität des Beschwerdegegners darin, dass Letzterer im Antrag auf Abweisung des Haftentlassungsgesuchs die "absolut entscheidwesentliche Tatsache", wonach er zum Tatzeitpunkt des angeblichen Vergewaltigungsversuchs so stark alkoholisiert gewesen sei, dass von einer Schuldunfähigkeit auszugehen sei, nicht erwähnt habe.
Es trifft zu, dass der Beschwerdegegner nicht erwähnte, der Beschwerdeführer könnte zum Tatzeitpunkt aufgrund der gemäss der vorinstanzlichen Feststellung gemessenen Blutalkoholkonzentration von 2,91 bis 3,69 Gewichtspromille Alkohol möglicherweise schuldunfähig gewesen sein. Daraus kann der Beschwerdeführer aber nichts zu seinen Gunsten ableiten, d.h. nichts, das den kritisierten Beschwerdegegner als befangen erscheinen liesse. Wie die Vorinstanz berechtigterweise festgehalten hat, wurde das Alkoholproblem des Beschwerdeführers im Zusammenhang mit den untersuchten Sexualdelikten im Antrag auf Abweisung des Haftentlassungsgesuchs thematisiert (vgl. S. 3 Ziff. 4) und war demzufolge dem Zwangsmassnahmengericht bekannt. Wenn es der Beschwerdegegner darüber hinaus nicht für notwendig hielt, dem Zwangsmassnahmengericht die zum Tatzeitpunkt ermittelte Blutalkoholkonzentration mitzuteilen, kann ihm keine Parteilichkeit vorgeworfen werden. Es ist weder evident, dass einzig aufgrund der hohen Blutalkoholkonzentration von einer tatsächlichen Schuldunfähigkeit auszugehen ist noch ist es die Aufgabe des Zwangsmassnahmengerichts, definitiv über die Schuldfähigkeit bzw. Schuldunfähigkeit des Beschwerdeführers zu entscheiden. Überdies ist es dem Beschwerdeführer unbenommen, selbst die seiner Ansicht nach entlastenden Tatsachen im Rahmen des Verfahrens vor dem Zwangsmassnahmengericht vorzubringen. Die Vorinstanz hat daher im Einklang mit dem Bundesrecht festgehalten, die Auswahl der wesentlichen Akten für das Haftverfahren sei vorliegend nicht geeignet, eine Befangenheit zu begründen.
4.5. Schliesslich wirft der Beschwerdeführer dem Beschwerdegegner Parteilichkeit vor, da dieser die für ihn entlastende Eingabe der Privatklägerin nicht umgehend an das Zwangsmassnahmengericht weitergeleitet habe.
Auch dieser Vorwurf schlägt jedoch nicht durch. Den Akten kann entnommen werden, dass der Beschwerdegegner die Eingabe der Privatklägerin am Freitag, 19. Oktober 2018 per Fax erhielt und das Schreiben am Mittwoch, 24. Oktober 2018 an das Zwangsmassnahmengericht weitergeleitet hat. Sodann enthielt bereits das Haftentlassungsgesuch des Beschwerdeführers vom 19. Oktober 2018, welches dem Zwangsmassnahmengericht zwangsläufig bekannt war, den Hinweis, dass die Privatklägerin keine Einwendungen gegen eine allfällige Entlassung des Beschwerdeführers aus der Haft habe. Damit war das Zwangsmassnahmengericht, als es am 31. Oktober 2018 über den Haftentlassungsantrag zu entscheiden hatte, im Besitz der vermeintlich entlastenden Eingabe. Im Übrigen ist aber ohnehin fraglich, inwiefern diese überhaupt entlastend sein soll. Zum einen bezieht sich die Privatklägerin in ihrem Schreiben nur auf die Wiederholungsgefahr ("im Hinblick auf ihre Sicherheit"), welche ihrer Ansicht nach durch Ersatzmassnahmen gebannt werden könne, während der Beschwerdegegner zusätzlich noch Flucht- und Kollusionsgefahr geltend macht. Zum anderen hat das Zwangsmassnahmengericht anhand der Akten zu prüfen, ob die Haftvoraussetzungen im konkreten Fall gegeben sind oder nicht. Ob die Privatklägerin, die ohnehin keine Partei im Haftprüfungsverfahren ist (vgl. <ref-ruling> E. 4 S. 123 f.), der Auffassung ist, der Tatverdächtige könne aus der Haft entlassen werden, ist dabei (vollkommen) irrelevant. Folglich kann dem Beschwerdegegner nicht vorgeworfen werden, er habe voreingenommen gehandelt, da er die Eingabe nicht umgehend, sondern erst ein paar Tage später, weitergeleitet hat.
4.6. Wenn der Beschwerdeführer schliesslich vorbringt, es könne nicht entscheidend sein, ob die monierten Handlungen bzw. Unterlassungen durch den Beschwerdegegner keinen Einfluss auf seine Inhaftierung gehabt haben, ist ihm grundsätzlich zuzustimmen. Entscheidend ist vorliegend aber, dass die gerügten angeblichen Verfehlungen des Beschwerdegegners bei einer gesamthaften Würdigung nicht geeignet sind, dessen Voreingenommenheit zu begründen, zumal die Befangenheit eines staatsanwaltlichen Untersuchungsleiters praxisgemäss nicht leichthin angenommen wird (vgl. E. 3.3 hiervor). Die Vorinstanz hat demnach kein Recht verletzt, wenn sie das Ausstandsgesuch des Beschwerdeführers mit der Begründung abgewiesen hat, es bestehe aus objektiver Sicht kein Anschein der Befangenheit des Beschwerdegegners.
5.
Die Beschwerde erweist sich demzufolge als unbegründet und ist abzuweisen. Angesichts der Aussichtslosigkeit der Beschwerde ist auch dem Gesuch um unentgeltliche Rechtspflege nicht zu entsprechen (<ref-law>). Unter den gegebenen Umständen - der Beschwerdeführer befand sich bis Mitte November 2018 in Haft und lebt als Sozialhilfeempfänger offenbar in angespannten finanziellen Verhältnissen - rechtfertigt es sich jedoch, auf die Erhebung von Gerichtskosten zu verzichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft IV des Kantons Zürich und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 16. Juli 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Sauthier