Sachverhalt: A. Rechtsanwalt A._ reichte am 11. Februar 2014 bei der Kantonspolizei Zürich gegen verschiedene Personen eine Strafanzeige wegen ungetreuer Geschäftsbesorgung und weiterer Delikte ein. Mit Verfügung vom 5. Dezember 2014 nahm die Staatsanwaltschaft Zürich-Sihl die Untersuchung nicht anhand. Am 22. Dezember 2014 erhob A._ Beschwerde ans Obergericht des Kantons Zürich. Dieses forderte ihn mit Verfügung vom 9. Januar 2015 auf, innert 10 Tagen seit der Mitteilung der Verfügung eine Prozesskaution von Fr. 5'000.-- zu leisten, ansonsten werde auf das Rechtsmittel nicht eingetreten. Mit Eingabe vom 22. Januar 2015 stellte A._ ein Wiedererwägungsgesuch. Er beantragte, es sei kein Kostenvorschuss zu verlangen, eventualiter sei dieser herabzusetzen und aufzuteilen nach Gerichts- und Parteikosten. Zudem sei die neue Verfügung mit einer Rechtsmittelbelehrung zu versehen. Falls am Kostenvorschuss festgehalten werde, seien Zahlungserleichterungen zu gewähren (längere Zahlungsfrist, Möglichkeit von Ratenzahlungen), eventuell sei die unentgeltliche Rechtspflege zu gewähren. Schliesslich sei festzustellen, dass er nicht Privatkläger, sondern Geschädigter und Anzeigeerstatter sei. Mit Verfügung vom 6. Februar 2015 wies das Obergericht das Gesuch um unentgeltliche Rechtspflege ab und setzte A._ erneut eine Frist von 10 Tagen, um die Prozesskaution von Fr. 5'000.-- zu leisten, dies wiederum unter der Androhung, dass sonst auf das Rechtsmittel nicht eingetreten werde. B. Mit Beschwerde vom 11. März 2015 ans Bundesgericht beantragt A._ im Wesentlichen, die Verfügung des Obergerichts vom 6. Februar 2015 und die Nichtanhandnahmeverfügung der Staatsanwaltschaft seien aufzuheben. Zudem stellt er den Antrag, eine Reihe von Rechtsverweigerungen festzustellen, welche die Staatsanwaltschaft III, die Staatsanwaltschaft Zürich-Sihl und das Obergericht begangen haben sollen. Weiter sei die Wiederholung des Verfahrens durch die zuständige Staatsanwaltschaft anzuordnen, eventualiter die Behandlung der Beschwerde ohne Kostenvorschuss und durch ein Obergericht mit unbefangenem Verfahrensleiter. Schliesslich verlangt der Beschwerdeführer vom Bundesgericht, sieben von ihm formulierte Rechtsfragen in Fünferbesetzung zu beantworten. Das Obergericht und die Staatsanwaltschaft Zürich-Sihl haben auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat unaufgefordert ein weiteres Mal Stellung genommen. Mit Präsidialverfügung vom 25. März 2015 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung beigelegt.