Erwägungen:
1.
Das Bezirksgericht Zürich stellte am 11. September 2018 fest, A._ habe den Tatbestand der vorsätzlichen Tötung in nicht selbst verursachter Schuldunfähigkeit erfüllt, verurteilte ihn wegen Störung des Totenfriedens zu einer Freiheitsstrafe von 22 Monaten und ordnete eine stationäre therapeutische Behandlung von psychischen Störungen an. Dieses Strafurteil wurde vom Obergericht des Kantons Zürich am 26. Februar 2020 geschützt. Am 8. Oktober 2020 hiess das Bundesgericht die Beschwerde von A._ gegen dieses Urteil des Obergerichts gut, hob es auf und wies die Sache zur Neuregelung der Kosten- und Entschädigungsfolgen ans Obergericht und zur Weiterführung des Vorverfahrens an die Staatsanwaltschaft zurück. Mit Beschluss vom 9. November 2020 hob das Obergericht das Urteil des Bezirksgerichts Zürich vom 11. September 2018 auf. Weiter wies es den Antrag der Staatsanwaltschaft auf Anordnung einer Massnahme für eine schuldunfähige Person vom 6. April 2018 ab und wies das Verfahren zur Weiterführung des Vorverfahrens an die Staatsanwaltschaft zurück.
2.
A._ widerrief am 4. Februar 2021 seine Zustimmung zum vorzeitigen Strafantritt und ersuchte bei der Staatsanwaltschaft I des Kantons Zürich um Entlassung aus der Haft. Die Staatsanwaltschaft beantragte am 8. Februar 2021 beim Zwangsmassnahmengericht des Bezirks Zürich die Abweisung des Haftentlassungsgesuchs sowie die Anordnung von Untersuchungshaft. Das Zwangsmassnahmengericht wies mit Verfügung vom 19. Februar 2021 sowohl das Haftentlassungsgesuch als auch den Antrag der Staatsanwaltschaft auf Anordnung von Untersuchungshaft ab (Dispositiv-Ziffer 1). Es hielt fest, dass der vorzeitige Strafvollzug fortdaure (Dispositiv-Ziffer 2). Der Gesuchsteller könne jederzeit bei der Staatsanwaltschaft ein Gesuch um Aufhebung der Untersuchungshaft stellen (Dispositiv-Ziffer 3). Mit Verfügung vom 5. März 2021 trat das Zwangsmassnahmengericht auf ein weiteres Haftentlassungsgesuch von A._ vom 17. Februar 2021 nicht ein.
A._ erhob am 5. März 2021 Beschwerde gegen die Verfügung des Zwangsmassnahmengerichts vom 19. Februar 2021. Die III. Strafkammer des Obergerichts des Kantons Zürich hiess mit Beschluss vom 22. März 2021 die Beschwerde teilweise gut, hob Dispositiv-Ziffer 1 Satz 2 und Dispositiv-Ziffer 2 der Verfügung des Zwangsmassnahmengerichts vom 19. Februar 2021 auf und versetzte A._ in Untersuchungshaft. Im Übrigen wies sie die Beschwerde ab. Die III. Strafkammer bejahte das Vorliegen eines dringenden Tatverdachts betreffend vorsätzliche Tötung sowie Störung des Totenfriedens. Weiter bejahte die III. Strafkammer den Haftgrund der Wiederholungsgefahr und erachtete die Weiterdauer der Haft als verhältnismässig.
3.
A._ führt mit Eingabe vom 3. Mai 2021 Beschwerde in Strafsachen gegen den Beschluss der III. Strafkammer des Obergerichts des Kantons Zürich vom 22. März 2021. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
4.
Nach Art. 42 Abs. 2 BGG ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von Art. 95 ff. BGG nennen die vor Bundesgericht zulässigen Beschwerdegründe.
Der Beschwerdeführer setzt sich mit der Begründung des angefochtenen Beschlusses nicht auseinander und vermag nicht ansatzweise aufzuzeigen, inwiefern diese Begründung bzw. der Beschluss der III. Strafkammer selbst rechts- bzw. verfassungswidrig sein soll. Die Beschwerde genügt den gesetzlichen Formerfordernissen offensichtlich nicht, weshalb auf sie im vereinfachten Verfahren nach Art. 108 Abs. 1 BGG nicht einzutreten ist.
5.
Auf eine Kostenauflage ist zu verzichten (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Kosten erhoben.
3.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft I des Kantons Zürich und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 5. Mai 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Pfäffli