Erwägungen:
1.
A._ erhob mit Eingabe vom 4. April 2021 Beschwerde gegen die Einstellungsverfügung der Staatsanwaltschaft Zürich-Sihl vom 29. März 2021. Die III. Strafkammer des Obergerichts des Kantons Zürich forderte ihn mit Verfügung vom 14. April 2021 auf, innert 30 Tagen zur Deckung der allfällig ihn treffenden Prozesskosten eine Prozesskaution im Sinne von Art. 383 StPO von Fr. 2'500.-- zu leisten, ansonsten auf die Beschwerde nicht eingetreten werde.
2.
Mit Eingabe vom 4. Mai 2021 erhob A._ Beschwerde in Strafsachen gegen die Verfügung der III. Strafkammer des Obergerichts des Kantons Zürich. Da der angefochtene Entscheid der Beschwerde nicht beilag, forderte das Bundesgericht A._ mit Verfügung vom 5. Mai 2021 auf, diesen noch nachzureichen. Innert Frist kam A._ dieser Aufforderung nach. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
3.
Nach Art. 42 Abs. 2 BGG ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von Art. 95 ff. BGG nennen die vor Bundesgericht zulässigen Beschwerdegründe. Hinsichtlich der Verletzung von Grundrechten gilt der in Art. 106 Abs. 1 BGG verankerte Grundsatz der Rechtsanwendung von Amtes wegen nicht; insofern besteht eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; BGE 136 I 49 E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68 mit Hinweisen). Es obliegt dem Beschwerdeführer namentlich darzulegen, inwiefern der angefochtene Entscheid gegen Grundrechte verstossen soll.
4.
Der Beschwerdeführer nennt keinen zulässigen Beschwerdegrund. Soweit er sinngemäss eine Verletzung seines Anspruchs auf unentgeltliche Rechtspflege geltend machen will, behauptet er nicht, dass er im Beschwerdeverfahren vor dem Obergericht ein solches Gesuch gestellt hätte. Weshalb sein Anspruch auf unentgeltliche Rechtspflege gleichwohl verletzt worden sein sollte, ist weder ersichtlich noch legt er dies dar. Aus seinen Ausführungen ergibt sich nicht, inwiefern die Verfügung der III. Strafkammer rechts- bzw. verfassungswidrig sein sollte. Die Beschwerde genügt den gesetzlichen Formerfordernissen offensichtlich nicht, weshalb auf sie im vereinfachten Verfahren nach Art. 108 Abs. 1 BGG nicht einzutreten ist.
5.
Auf eine Kostenauflage kann ausnahmsweise verzichtet werden (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Kosten erhoben.
3.
Dieses Urteil wird dem Beschwerdeführer und dem Obergericht des Kantons Zürich, III. Strafkammer, Präsident, schriftlich mitgeteilt.
Lausanne, 11. Mai 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Chaix
Der Gerichtsschreiber: Pfäffli