Sachverhalt:
Die Staatsanwaltschaft I des Kantons Zürich führt ein Strafverfahren gegen A._ wegen versuchter schwerer Körperverletzung. Am 6. März 2019 stellte A._ ein Ausstandsgesuch gegen die untersuchungsleitende Staatsanwältin Bettina Groth. Die Staatsanwaltschaft übermittelte das Ausstandsgesuch zum Entscheid an das Obergericht des Kantons Zürich. Dieses wies das Gesuch mit Beschluss vom 3. Mai 2019 ab.
Mit Eingabe vom 11. Juni 2019 führt A._ Beschwerde in Strafsachen an das Bundesgericht. Er beantragt, der Beschluss des Obergerichts des Kantons Zürich vom 3. Mai 2019 sei vollumfänglich aufzuheben und die Staatsanwältin Bettina Groth sei zu verpflichten, in der gegen ihn geführten Strafuntersuchung in den Ausstand zu treten. Eventualiter sei der Beschluss des Obergerichts vom 3. Mai 2019 aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Vorinstanz hat auf die Einreichung einer Vernehmlassung verzichtet. Die Beschwerdegegnerin beantragt sinngemäss Beschwerdeabweisung. Der Beschwerdeführer hat mit Eingabe vom 19. Juli 2019 an seiner Beschwerde festgehalten.

Erwägungen:
1.
Beim angefochtenen Beschluss handelt es sich um einen selbständig eröffneten Zwischenentscheid über ein Ausstandsbegehren in einer Strafsache (Art. 78 Abs. 1 und 92 Abs. 1 BGG). Das Obergericht des Kantons Zürich hat als letzte und einzige kantonale Instanz entschieden (<ref-law> i.V.m. <ref-law>). Als beschuldigte Person ist der Beschwerdeführer gemäss Art. 81 Abs. 1 lit. a und lit. b Ziff. 1 BGG zur Beschwerde befugt. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde grundsätzlich einzutreten.
2.
2.1. Der Beschwerdeführer trägt einzelne Verfahrenshandlungen der Beschwerdegegnerin vor, die bereits für sich genommen ausreichend seien, um den Anschein der Befangenheit zu erwecken. Die Beschwerdegegnerin habe ihn zu einer wahrheitswidrigen Unterzeichnung des Haftantrags aufgefordert sowie das Verfahren in unzulässiger Weise verschleppt. Weiter habe sie in ihrem Antrag auf Anordnung von Untersuchungshaft vom 4. März 2019 wie auch in der Beschwerde in Haftsachen vom 6. März 2019 voreingenommene Formulierungen verwendet. Indem die Vorinstanz das Ausstandsbegehren des Beschwerdeführers bei dieser Sachlage abgewiesen habe, habe sie <ref-law> falsch angewendet und damit Bundesrecht verletzt.
2.2. Gemäss <ref-law> tritt eine in einer Strafbehörde tätige Person in den Ausstand, wenn sie aus anderen (als den in lit. a-e der gleichen Bestimmung genannten) Gründen, insbesondere wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsbeistand, befangen sein könnte (vgl. dazu im Einzelnen <ref-ruling> E. 3.2.1 S. 179 f. und Urteil 1B_51/2019 vom 28. März 2019 E. 3.1; je mit Hinweisen). Die Rechtsprechung nimmt Voreingenommenheit und Befangenheit an, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit der untersuchungsleitenden Person zu erwecken. Solche Umstände können namentlich in einem bestimmten Verhalten der untersuchungsleitenden Person bestehen. Dabei ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen (<ref-ruling> E. 3.2.1 S. 179; <ref-ruling> E. 5.1 S. 328).
2.3. Befangenheit einer staatsanwaltlichen Untersuchungsleiterin ist nach der Praxis des Bundesgerichts nicht leichthin anzunehmen. Trifft die Staatsanwältin fehlerhafte Verfügungen und Verfahrenshandlungen, so begründet dies für sich allein keinen Anschein der Voreingenommenheit. Anders verhält es sich, wenn die begangenen Rechtsfehler bei objektiver Betrachtung besonders krass sind oder wiederholt auftreten, sodass sie einer schweren Amtspflichtverletzung gleichkommen und sich einseitig zulasten einer der Prozessparteien auswirken (vgl. <ref-ruling> E. 3.2 S. 74 f.; <ref-ruling> E. 3.2.3 S. 180; Urteil 1B_535/2018 vom 16. April 2019 E. 3; je mit Hinweisen). Ansonsten sind primär die zur Verfügung stehenden Rechtsmittel gegen beanstandete Verfahrenshandlungen auszuschöpfen (vgl. <ref-ruling> E. 3.2 S. 75; <ref-ruling> E. 3b/bb S. 158 f.; je mit Hinweisen).
Auch voreilige Äusserungen der Untersuchungsleitung können in begründeten Einzelfällen geeignet sein, objektive Zweifel an ihrer Unparteilichkeit zu begründen. Es können sich Verfahrenssituationen ergeben, in denen die Staatsanwaltschaft bereits vor Abschluss der Strafuntersuchung in rechtlicher oder tatsächlicher Hinsicht zum Gegenstand der Untersuchung Stellung nimmt und dabei ihre - aufgrund des jeweiligen Verfahrensstandes vorläufig gebildete - Meinung offen legt. Dabei darf und muss, sofern nicht besondere gegenteilige Anzeichen vorhanden sind, vorausgesetzt werden, dass die Untersuchungsleitung in der Lage ist, ihre vorläufige Beurteilung des Prozessstoffes (entsprechend dem jeweils neusten Stand des Verfahrens) ständig zu überprüfen und bei Vorliegen neuer Tatsachen und Argumente zu revidieren. Ein solches Vorgehen vermag in der Regel keine Parteilichkeit oder Befangenheit objektiv zu begründen. "Ungeschickte Äusserungen" eines Staatsanwaltes kommen als Ausstandsgründe nur in Frage, wenn es sich dabei um eine schwere Verfehlung gegenüber der betroffenen Partei handelt (<ref-ruling> E. 3.2.3 S. 180; Urteil 1B_101/2019 vom 16. Juli 2019 E. 3.3).
3.
3.1. Der Beschwerdeführer macht zunächst geltend, dass das Verhalten der Beschwerdegegnerin im Nachgang der Hafteinvernahme vom 4. März 2019 einen Ausstandsgrund darstelle. Hier habe sie ihm bloss die letzte Seite des Antrags auf Anordnung seiner Untersuchungshaft vorgelegt und ihn dazu aufgefordert, diese zu unterschreiben, ohne dass er die vorangehenden Seiten gelesen habe oder hätte lesen können. Als sein Rechtsanwalt Einwände dagegen erhoben habe, den Haftantrag ohne vorherige Durchsicht zu unterschreiben, habe sie denselben aus dem Büro verwiesen, den Beschwerdeführer polizeilich abführen lassen und auf der letzten Seite des Antrags vermerkt, dass der Beschwerdeführer sich geweigert habe, den Haftantrag zu unterschreiben.
Das Vorgehen der Beschwerdegegnerin war, soweit es tatsächlich der Schilderung des Beschwerdeführers entspricht, unüblich und nicht den Normen des Strafverfahrens entsprechend. Darin ist allerdings keine Verletzung der Amtspflichten zu erblicken, die so schwer wiegt, dass sie für sich alleine den Anschein der Befangenheit erweckt. Indem die Vorinstanz dieses Verhalten nicht als geeignet qualifizierte, eine Befangenheit zu begründen, verletzte sie kein Bundesrecht.
3.2. Weiter bringt der Beschwerdeführer vor, die Beschwerdegegnerin habe im Zeitraum zwischen dem Eingang des Ausstandsgesuches und der Fällung des obergerichtlichen Entscheids keine Verfahrenshandlungen mehr vorgenommen. Damit habe sie gegen <ref-law> und das Beschleunigungsverbot in <ref-law> verstossen. Dies stelle eine schwere Verfahrensverschleppung dar, die eine Befangenheit indiziere.
Für die Vorinstanz war das Zuwarten der Beschwerdegegnerin mit weiteren Verfahrenshandlungen bis zu ihrem Entscheid nicht Grund genug, das Ausstandsgesuch gutzuheissen. Sie wies die Beschwerdegegnerin im angefochtenen Beschluss jedoch mit Nachdruck auf die Regelung von <ref-law> hin, wonach die von einem Ausstandsgesuch betroffene Person ihr Amt bis zum Entscheid weiter ausübt.
Die Beschwerdegegnerin begründet ihr Zuwarten bis zum vorinstanzlichen Beschluss mit dem Risiko, dass im Falle einer Gutheissung des Ausstandsgesuchs auf Verlangen des Beschwerdeführers hin alle Amtshandlungen hätten aufgehoben und wiederholt werden müssen, an denen sie mitgewirkt hätte (vgl. <ref-law>). Dies habe den Geschädigten und Zeugen und insbesondere dem mutmasslichen Opfer nicht zugemutet werden können, zumal das Strafverfahren insgesamt noch nicht allzu lange dauere.
In Haftsachen kommt dem strafprozessualen Beschleunigungsgebot besondere Bedeutung zu (vgl. <ref-law>). Wie aus den Akten ersichtlich ist, war der Beschwerdeführer im Zeitpunkt des angefochtenen Beschlusses nach wie vor inhaftiert. Auch wenn die Beschwerdegegnerin das Verfahren im Anschluss an den angefochtenen Beschluss fortgeführt hat, befand sich der Beschwerdeführer bis mindestens zum 19. Juli 2019 und befindet er sich soweit ersichtlich weiterhin in Untersuchungshaft. Vor dem Hintergrund der laufenden Haft ist die Weigerung der Beschwerdegegnerin, das Strafverfahren bis zum Beschluss der Vorinstanz fortzuführen, nicht nachvollziehbar. Sie lässt sich unter den gegebenen Umständen auch mit den möglichen Folgen einer Gutheissung des Ausstandsgesuchs gemäss <ref-law> nicht rechtfertigen. Die Weigerung der Beschwerdegegnerin, bis zum Beschluss der Vorinstanz während knapp zwei Monaten weitere Untersuchungsmassnahmen vorzunehmen, stellt einen nicht leicht zu nehmenden Verfahrensfehler dar. Wie die Vorinstanz im Ergebnis zu Recht zum Schluss gekommen ist, ist der Fehler für sich gesehen allerdings noch nicht so gravierend, dass er als schwere Amtspflichtsverletzung zu qualifizieren ist, welche im Sinne der Rechtsprechung den Anschein von Voreingenommenheit erweckt.
3.3. Als weiteren Ausstandsgrund sieht der Beschwerdeführer die Formulierungen, welche die Beschwerdegegnerin im Antrag auf Anordnung der Untersuchungshaft vom 4. März 2019 sowie in der Beschwerde in Haftsachen vom 6. März 2019 benutzt hat. Diese würden auf Voreingenommenheit schliessen lassen. Konkret weist der Beschwerdeführer auf die Verwendung des Indikativs in folgenden drei Aussagen hin:
"Wer mehrmals jemanden gegen den Kopf einschlägt und eintritt, zeigt, dass er nicht allzu viel Respekt vor der Rechtsordnung hat [...]"
"Der aggressive Beschuldigte versetzte seinem Opfer mehrere massive Fusstritte gegen den Kopf, so dass, als er einmal daneben trat, sogar eine Delle an einem Personenwagen entstand."
"Auch die vorliegend zu beurteilende Straftat zeigt, dass der Beschuldigte selbst für schwere Gewaltanwendung eine sehr tiefe Hemmschwelle besteht."
Wie die Vorinstanz zu Recht festhält, wird im Kontext der fraglichen Schriftstücke mit längeren Ausführungen zu den Geschehnissen ohne Weiteres klar, dass die Beschwerdegegnerin in den beanstandeten Formulierungen lediglich von einem dringenden Tat verdacht ausging. Unter anderem wird in den jeweiligen vorangehenden Abschnitten der Tatverdacht und der aktuelle Stand der Ermittlungen erläutert. Es mag, wie die Vorinstanz festgehalten hat, ungeschickt gewesen sein, den Tatvorwurf im Indikativ statt im Konjunktiv zu formulieren. Indessen sind die aus dem Kontext gerissenen Sätze im Gesamtzusammenhang zu lesen. So gesehen stellen sie jedenfalls keine schwere Verfehlung gegenüber dem Beschwerdeführer dar. Indem die Vorinstanz festhielt, es seien aufgrund der Formulierung keine Hinweise auf eine (nach Massgabe der weiteren Untersuchungsergebnisse nicht revidierbare) Vorverurteilung durch die Beschwerdegegnerin ersichtlich, verletzte sie kein Bundesrecht.
3.4. Der Beschwerdeführer hält dafür, dass die soeben erläuterten einzelnen Verhaltensvorgänge jedenfalls in ihrer Kombination ausreichen würden, um den Anschein von Befangenheit zu begründen. Auch wenn es sich um einen Grenzfall handelt, kann dieser Ansicht nicht gefolgt werden. Das kritisierbare Verhalten der Beschwerdegegnerin wiegt auch bei gesamthafter Würdigung noch nicht so schwer, dass es geeignet wäre, objektiv begründetes Misstrauen in ihre Unvoreingenommenheit zu erwecken.
4.
Nach dem Ausgeführten ist im Ergebnis nicht zu beanstanden, dass die Vorinstanz davon ausging, es bestehe kein ausstandsbegründender Anschein der Befangenheit der Beschwerdegegnerin. Damit ist die Beschwerde in Strafsachen abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer grundsätzlich kostenpflichtig (vgl. <ref-law>). Er ersucht indes um unentgeltliche Rechtspflege inklusive Verbeiständung. Dem Gesuch kann entsprochen werden, zumal der Beschwerdeführer im bundesgerichtlichen Verfahren glaubhaft dargelegt hat, dass er im Sinne von <ref-law> bedürftig ist und auch die weiteren Voraussetzungen von Art. 64 Abs. 1 und 2 BGG erfüllt sind.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen:
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwältin Tanja Knodel wird zur unentgeltlichen Rechtsbeiständin ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 10. September 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Mattle