Sachverhalt:
A.
Die Staatsanwaltschaft Zürich-Limmat führt ein Strafverfahren gegen A._ wegen Menschenhandel und weiteren Delikten. Am 14. November 2018 stellte A._ ein Ausstandsgesuch gegen Staatsanwältin Andrea Senn und beantragte die Entfernung gewisser Aktenstücke aus den Verfahrensakten.
Mit Beschluss vom 28. Januar 2019 wies das Obergericht des Kantons Zürich das Ausstandsgesuch ab und trat auf das Gesuch um Entfernung gewisser Aktenstücke nicht ein.
B.
Mit Beschwerde in Strafsachen an das Bundesgericht vom 11. März 2019 beantragt A._, der Beschluss des Obergerichts sei aufzuheben und seine Gesuche seien gutzuheissen. Eventualiter sei die Sache zum neuen Entscheid an die Vorinstanz zurückzuweisen.
Das Obergericht, die Staatsanwaltschaft und Staatsanwältin Senn haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen selbständig eröffneten Zwischenentscheid über ein Ausstandsbegehren in einer Strafsache (Art. 78 Abs. 1 und Art. 92 Abs. 1 BGG). Das Obergericht hat als letzte und einzige kantonale Instanz entschieden (<ref-law> i.V.m. <ref-law>). Der Beschwerdeführer ist gemäss Art. 81 Abs. 1 lit. a und lit. b Ziff. 1 BGG zur Beschwerde befugt. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist unter Vorbehalt der nachfolgenden Erwägung einzutreten.
1.2. Zum Gesuch um Entfernung von Aktenstücken hielt das Obergericht fest, es liege kein Anfechtungsobjekt vor. Es wäre dem Beschwerdeführer offengestanden, gegen das Schreiben von Staatsanwältin Senn vom 8. Dezember 2017 ein Rechtsmittel zu ergreifen, was er jedoch, soweit ersichtlich, nicht innert der Frist von <ref-law> getan habe. Der Beschwerdeführer hält dem entgegen, die Frist bzw. das Anfechtungsobjekt sei am 8. November 2018 unerwartet und entgegen der Abmachung wieder zum Vorschein gekommen, sodass die Vorinstanz auf die Beschwerde hätte eintreten müssen. Mit diesem Vorbringen wird nicht in nachvollziehbarer Weise aufgezeigt, weshalb der angefochtene Beschluss in diesem Punkt gegen Bundesrecht verstösst, weshalb auf die Beschwerde insoweit nicht einzutreten ist (<ref-law>).
2.
2.1. Gemäss <ref-law> tritt eine in einer Strafbehörde tätige Person in den Ausstand, wenn sie aus anderen Gründen, insbesondere wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsbeistand, befangen sein könnte (vgl. dazu im Einzelnen <ref-ruling> E. 3.2.1 f. S. 179 f. und Urteil 1B_51/2019 vom 28. März 2019 E. 3.1; je mit Hinweisen). Fehlerhafte Verfügungen und Verfahrenshandlungen des Staatsanwalts im Vorverfahren begründen für sich allein keinen Anschein der Voreingenommenheit. Anders verhält es sich, wenn besonders krasse oder wiederholte Irrtümer vorliegen, die eine schwere Verletzung der Amtspflichten darstellen (<ref-ruling> E. 3.2.3 S. 180 mit Hinweisen). Von Bedeutung ist in dieser Hinsicht, ob sich die Verletzung der Amtspflichten zum Nachteil des Gesuchstellers auswirkte (zum Ganzen: Urteil 1B_535/2018 vom 16. April 2019 E. 3 mit Hinweisen).
2.2. Gemäss <ref-law> hat die Partei, die den Ausstand einer in einer Strafbehörde tätigen Person verlangt, der Verfahrensleitung ohne Verzug ein entsprechendes Gesuch zu stellen, sobald sie vom Ausstandsgrund Kenntnis hat; die den Ausstand begründenden Tatsachen sind glaubhaft zu machen. Nach der Rechtsprechung ist der Ausstand in den nächsten Tagen nach Kenntnisnahme zu verlangen. Andernfalls verwirkt der Anspruch. Ein Gesuch, das sechs bis sieben Tage nach Kenntnis des Ausstandsgrunds eingereicht wird, gilt als rechtzeitig. Unzulässig ist jedenfalls ein Zuwarten während zwei Wochen (zum Ganzen: Urteil 1B_100/2015 vom 8. Juni 2015 E. 4.1 mit Hinweisen). Auch Organmängel anderer Art sind nach der Rechtsprechung gestützt auf den Grundsatz von Treu und Glauben (<ref-law>) so früh wie möglich, d.h. nach deren Kenntnis bei erster Gelegenheit, geltend zu machen. Dies gilt auch, soweit eine Verletzung von Art. 6 EMRK gerügt wird (<ref-ruling> E. 4.3 S. 69; <ref-ruling> E. 4.3 S. 496; je mit Hinweisen).
2.3. Der Beschwerdeführer machte mit seinem Ausstandsgesuch vom 14. November 2018 ausnahmslos Tatsachen geltend, die sich mehrere Monate früher zugetragen hatten. Er kritisiert zwei polizeiliche Berichte vom 17. Juni 2018 und vom 31. Juli 2017, wobei er den ersten insbesondere als nicht hinreichend objektiv und vollständig, den zweiten als die Persönlichkeit seines amtlichen Verteidigers verletzend erachtet. Weiter wirft er Staatsanwältin Senn vor, sich bei der Oberstaatsanwaltschaft dafür eingesetzt zu haben, dass seinem Verteidiger das amtliche Mandat entzogen werde, wobei er auf ein E-Mail des Büros für amtliche Mandate vom 19. Dezember 2017 verweist. Schliesslich kritisiert er, sie habe seinem Verteidiger versprochen, den angeblich persönlichkeitsverletzenden Bericht vom 31. Juli 2017 aus den Akten zu weisen, habe das in der Folge jedoch nicht getan.
Das Ausstandsgesuch war in jeder Hinsicht verspätet. Dies gilt auch für das angebliche Versprechen, den Bericht vom 31. Juli 2017 aus den Akten zu entfernen. Im angefochtenen Entscheid wird dazu festgehalten, dass Staatsanwältin Senn dem amtlichen Verteidiger des Beschwerdeführers bereits am 8. Dezember 2017 mitgeteilt hatte, es gebe für eine Entfernung des Berichts keine gesetzliche Grundlage.
2.4. Bei diesem Ergebnis erübrigt es sich, auf die Rüge des Beschwerdeführers, das Obergericht habe einen Ausstandsgrund zu Unrecht verneint, einzugehen. Lediglich der Vollständigkeit halber ist festzuhalten, dass der angefochtene Beschluss auch inhaltlich nicht zu beanstanden ist. Das Obergericht legte detailliert dar, dass im Bericht vom 17. Juni 2018 die vom Beschwerdeführer beanstandete Zeugenaussage nicht unbesehen als wahr übernommen wurde und wies ihn zu Recht auch darauf hin, dass er gegen die angeblich ungerechtfertigte Verweigerung der Entfernung eines Aktenstücks Beschwerde hätte erheben können (vgl. dazu Urteil 1B_181/2017 vom 2. Juni 2017 E. 3.2). Ebenfalls nicht zu beanstanden ist die vorinstanzliche Feststellung, es erscheine nachvollziehbar, wenn Staatsanwältin Senn vorsorglich mit dem Büro für amtliche Mandate Kontakt aufgenommen habe, nachdem gegen den amtlichen Verteidiger ein Strafverfahren eröffnet worden sei. Dass es in dieser Hinsicht zu einer Nichtanhandnahme (<ref-law>) kam, wie der Beschwerdeführer geltend macht, ist nicht entscheidend. Auf den angefochtenen Entscheid kann im Übrigen verwiesen werden. Objektive Gründe für die Annahme der Befangenheit von Staatsanwältin Senn sind nicht ersichtlich.
3.
Die Beschwerde ist aus diesen Erwägungen abzuweisen, soweit darauf einzutreten ist.
Dem Gesuch um unentgeltliche Rechtspflege kann wegen Aussichtslosigkeit der Vorbringen nicht entsprochen werden (vgl. Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 7. Juni 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold