Erwägungen:
1. Die Staatsanwaltschaft Zürich-Sihl führt gegen X._ ein Strafverfahren. Mit Eingabe vom 31. Januar 2010 erhob X._ Rekurs bei der Oberstaatsanwaltschaft des Kantons Zürich und stellte dabei folgende Anträge:
"1. Es sei die Strafuntersuchung einzustellen;
2. Es sei vorsorglich zu verfügen, dass bis zum Ergehen des Entscheids keine Untersuchungshandlungen zu erfolgen haben;
3. Im Falle der beantragten Einstellung sei dem Angeschuldigten gem. ZH/StPO § 43 eine Entschädigung für Kosten und Umtriebe (Abs. 2 Satz 1) wie auch eine Genugtuung (Abs. 3) zuzusprechen."
Die Oberstaatsanwaltschaft des Kantons Zürich wies den Rekurs mit Entscheid vom 18. März 2010 ab, soweit sie darauf eintrat.
2. X._ führt mit Eingabe vom 16. April 2010 Beschwerde in Strafsachen gegen den Rekursentscheid der Oberstaatsanwaltschaft des Kantons Zürich. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
3. Der angefochtene Entscheid ist im Rahmen eines Strafverfahrens gegen den Beschwerdeführer ergangen. Dabei handelt es sich um einen Zwischenentscheid, der das Strafverfahren gegen den Beschwerdeführer nicht abschliesst.
Gegen Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen (s. dazu <ref-law>), ist die Beschwerde ans Bundesgericht nur unter den Eintretensvoraussetzungen von <ref-law> zulässig. Es obliegt dabei dem Beschwerdeführer darzutun, dass die Eintretensvoraussetzungen von <ref-law> erfüllt sind (<ref-ruling> E. 1.2; <ref-ruling> E. 2.3.1). Es ist nicht Aufgabe des Bundesgerichts, hierzu von Amtes wegen Nachforschungen anzustellen. Vorliegend äussert sich der Beschwerdeführer nicht, inwiefern die Eintretensvoraussetzungen von <ref-law> erfüllt sein sollten. Die Beschwerde enthält somit keine hinreichende Begründung im Sinne von <ref-law>, weshalb auf sie im vereinfachten Verfahren nach <ref-law> nicht einzutreten ist.
4. Entsprechend dem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Zürich-Sihl und der Oberstaatsanwaltschaft des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 22. April 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Pfäffli