Sachverhalt:
A.
Rechtsanwalt A._ reichte am 11. Februar 2014 bei der Kantonspolizei Zürich gegen verschiedene Personen eine Strafanzeige wegen ungetreuer Geschäftsbesorgung und weiterer Delikte ein. Mit Verfügung vom 5. Dezember 2014 nahm die Staatsanwaltschaft Zürich-Sihl die Untersuchung nicht anhand.
Am 22. Dezember 2014 erhob A._ Beschwerde ans Obergericht des Kantons Zürich. Dieses forderte ihn mit Verfügung vom 9. Januar 2015 auf, innert 10 Tagen seit der Mitteilung der Verfügung eine Prozesskaution von Fr. 5'000.-- zu leisten, ansonsten werde auf das Rechtsmittel nicht eingetreten.
Mit Eingabe vom 22. Januar 2015 stellte A._ ein Wiedererwägungsgesuch. Er beantragte, es sei kein Kostenvorschuss zu verlangen, eventualiter sei dieser herabzusetzen und aufzuteilen nach Gerichts- und Parteikosten. Zudem sei die neue Verfügung mit einer Rechtsmittelbelehrung zu versehen. Falls am Kostenvorschuss festgehalten werde, seien Zahlungserleichterungen zu gewähren (längere Zahlungsfrist, Möglichkeit von Ratenzahlungen), eventuell sei die unentgeltliche Rechtspflege zu gewähren. Schliesslich sei festzustellen, dass er nicht Privatkläger, sondern Geschädigter und Anzeigeerstatter sei.
Mit Verfügung vom 6. Februar 2015 wies das Obergericht das Gesuch um unentgeltliche Rechtspflege ab und setzte A._ erneut eine Frist von 10 Tagen, um die Prozesskaution von Fr. 5'000.-- zu leisten, dies wiederum unter der Androhung, dass sonst auf das Rechtsmittel nicht eingetreten werde.
B.
Mit Beschwerde vom 11. März 2015 ans Bundesgericht beantragt A._ im Wesentlichen, die Verfügung des Obergerichts vom 6. Februar 2015 und die Nichtanhandnahmeverfügung der Staatsanwaltschaft seien aufzuheben. Zudem stellt er den Antrag, eine Reihe von Rechtsverweigerungen festzustellen, welche die Staatsanwaltschaft III, die Staatsanwaltschaft Zürich-Sihl und das Obergericht begangen haben sollen. Weiter sei die Wiederholung des Verfahrens durch die zuständige Staatsanwaltschaft anzuordnen, eventualiter die Behandlung der Beschwerde ohne Kostenvorschuss und durch ein Obergericht mit unbefangenem Verfahrensleiter. Schliesslich verlangt der Beschwerdeführer vom Bundesgericht, sieben von ihm formulierte Rechtsfragen in Fünferbesetzung zu beantworten.
Das Obergericht und die Staatsanwaltschaft Zürich-Sihl haben auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat unaufgefordert ein weiteres Mal Stellung genommen.
Mit Präsidialverfügung vom 25. März 2015 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung beigelegt.

Erwägungen:
1.
1.1. Auf das Wiedererwägungsgesuch des Beschwerdeführers hin hat das Obergericht (bzw. der Präsident von dessen III. Strafkammer) seine Verfügung vom 9. Januar 2015 durch jene vom 6. Februar 2015 ersetzt. Nur Letztere bildet vorliegend Verfahrensgegenstand.
1.2. Der Beschwerdeführer bezeichnet seine Eingabe ans Bundesgericht als "Beschwerde wegen Rechtsverweigerung", als "Beschwerde in Strafsachen" und (eventualiter) als "subsidiäre Verfassungsbeschwerde" und legt ausführlich dar, weshalb nach seiner Ansicht für alle drei die Sachurteilsvoraussetzungen erfüllt sein sollen. Dabei übersieht er, dass das Bundesgerichtsgesetz keine eigene Beschwerdeart für Rechtsverweigerungen vorsieht. Aus <ref-law> geht hervor, dass gegen das unrechtmässige Verweigern oder Verzögern eines anfechtbaren Entscheids Beschwerde geführt werden kann. Wie sich aus der systematischen Stellung dieser Bestimmung im Abschnitt über anfechtbare Entscheide (<ref-law>) erhellt, schafft sie im Falle der formlosen Rechtsverweigerung oder Rechtsverzögerung ein taugliches Beschwerdeobjekt ( FELIX UHLMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 2 zu <ref-law>). Eine solche Situation besteht hier nicht, denn es liegt ein anfechtbarer Entscheid vor.
1.3. Bei der Verfügung des Obergerichts vom 6. Februar 2015 handelt es sich um einen kantonal letztinstanzlichen Entscheid (<ref-law>). Der Beschwerdeführer geht mit seiner Kritik jedoch in zweierlei Hinsicht über diese Verfügung hinaus.
Zum einen rügt er die Verletzung von Verfahrensvorschriften durch die Staatsanwaltschaft III und die Staatsanwaltschaft Zürich-Sihl. In dieser Hinsicht fehlt es an der erforderlichen Ausschöpfung des kantonalen Instanzenzugs. Darauf ist nicht einzutreten. Dasselbe gilt für die an der Nichtanhandnahme der Staatsanwaltschaft geübte Kritik.
Zum andern macht der Beschwerdeführer eine (voraussichtliche) Rechtsverweigerung durch das Obergericht geltend, weil mit Sicherheit feststehe, dass dieses auf sein Rechtsmittel gegen die Nichtanhandnahmeverfügung nicht eintreten werde. Auch in dieser Hinsicht liegt (derzeit) kein kantonal letztinstanzlicher Entscheid vor.
1.4. Angefochten ist ein Zwischenentscheid, gegen den die Beschwerde unter anderem dann zulässig ist, wenn er einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>). In der Aufforderung zur Leistung einer Prozesssicherheit unter der Androhung, dass im Säumnisfall auf das Rechtsmittel nicht eingetreten werde, liegt ein solcher Nachteil begründet (<ref-ruling> E. 2b und c S. 202 ff.; Urteile 1B_196/2014 vom 8. Juli 2014 E. 1.2; 1B_324/2014 vom 17. Dezember 2014 E. 1.2; je mit Hinweisen).
1.5. Die Beschwerde in Strafsachen erfordert gemäss <ref-law> ein rechtlich geschütztes Interesse. Nach Ziff. 5 dieser Bestimmung ist die Privatklägerschaft beschwerdeberechtigt, wenn der angefochtene Entscheid sich auf die Beurteilung ihrer Zivilansprüche auswirken kann.
Das Bundesgericht hat sich mit der Legitimation der Privatklägerschaft zur Anfechtung eines Freispruchs oder einer Einstellung des Strafverfahrens in <ref-ruling> befasst. Danach kann die Privatklägerschaft gegen ein Strafurteil, durch das der Angeschuldigte freigesprochen wird, Rechtsmittel im Strafpunkt grundsätzlich nur erheben, wenn sie, soweit zumutbar, ihre Zivilansprüche aus strafbarer Handlung im Strafverfahren geltend gemacht hat. Dies begründet sich damit, dass das Strafverfahren nicht blosses Vehikel zur Durchsetzung von Zivilforderungen in einem Zivilprozess sein soll, den die Privatklägerschaft erst nach Abschluss des Strafprozesses, je nach dessen Ausgang, anzustrengen gedenkt. Vielmehr sollte sie, soweit zumutbar, ihre Zivilansprüche im Strafverfahren geltend machen. Anders verhält es sich im Falle der Einstellung des Strafverfahrens. Da diesfalls von der Privatklägerschaft nicht verlangt werden kann, dass sie bereits adhäsionsweise Zivilforderungen geltend gemacht hat, reicht es, wenn sie im Verfahren vor Bundesgericht darlegt, aus welchen Gründen sich der angefochtene Entscheid inwiefern auf welche Zivilforderungen auswirken kann (a.a.O., E. 1.3.1 S. 247 f. mit Hinweisen).
Im vorliegenden Fall geht es um eine Nichtanhandnahme, weshalb es im Sinne der genannten Ausnahme ausreicht, wenn im Verfahren vor Bundesgericht dargelegt wird, aus welchen Gründen sich der angefochtene Entscheid inwiefern auf welche Zivilforderungen auswirken kann. Der Beschwerdeführer hält jedoch in seiner Beschwerde mit Nachdruck fest, sich gar nicht als Privatkläger konstituieren zu wollen. Damit kommt ein Eintreten gestützt auf Art. 81 Abs. 1 lit. b Ziff. 5 BGG mangels Berechtigung in der Sache nicht in Betracht.
Unbesehen seiner mangelnden Legitimation in der Sache kann der Beschwerdeführer vor Bundesgericht geltend machen, die Vorinstanz habe seine Parteirechte missachtet. Ausgeschlossen wären diesbezüglich lediglich Rügen, mit welchen eine (indirekte) Überprüfung des Entscheids in der Hauptsache angestrebt wird, wobei dies hier von vornherein ausser Betracht fällt, zumal ein kantonal letztinstanzlicher Entscheid in der Sache noch nicht ergangen ist (E. 1.3 hiervor; zum Ganzen: <ref-ruling> E. 1.9 S. 40; Urteil 1B_26/2014 vom 12. Dezember 2014 E. 1.2.1; je mit Hinweisen).
1.6. Der Beschwerdeführer ersucht das Bundesgericht um die Beantwortung von sieben abstrakten Rechtsfragen. In dieser Hinsicht fehlt es ihm an einem praktischen Interesse nach <ref-law>. Zur Beantwortung abstrakter Rechtsfragen kann das Bundesgericht nicht angerufen werden (Urteil 4C.290/2001 vom 8. November 2002 E. 2, in: sic! 4/2003 S. 323). Dasselbe gilt für den Antrag auf einen Entscheid in Fünferbesetzung, ergibt sich diese doch aus dem Gesetz (vgl. <ref-law>).
2.
2.1. Der Beschwerdeführer macht geltend, das Obergericht hätte den Entscheid über die unentgeltliche Rechtspflege in Dreierbesetzung fällen müssen.
2.2. Der Präsident der III. Strafkammer des Obergerichts hat den Anspruch des Beschwerdeführers auf unentgeltliche Rechtspflege im Licht der Voraussetzungen von <ref-law> geprüft, was der Beschwerdeführer nicht beanstandet. Danach entscheidet über die Gewährung der unentgeltlichen Rechtspflege die Verfahrensleitung. Dies ist im Gerichtsverfahren bei Kollegialgerichten der Präsident (<ref-law>). Das Gesetz sieht somit keinen Kollegialentscheid vor. Die Rüge ist unbegründet.
3.
3.1. Der Beschwerdeführer rügt, er habe verlangt, dass das Obergericht zuerst die Vorfrage beantworte, ob gestützt auf <ref-law> auch ein bedürftiger Geschädigter und Anzeigesteller für das Beschwerdeverfahren unentgeltliche Rechtspflege verlangen könne. Diese Vorfrage habe das Obergericht nicht behandelt und ihm das Recht verweigert.
3.2. Das Obergericht hat sich mit der Frage befasst, ob der Beschwerdeführer Anspruch auf unentgeltliche Rechtspflege habe, was es verneinte. Eine Rechtsverweigerung liegt somit nicht vor.
4.
4.1. Weiter bringt der Beschwerdeführer vor, gemäss <ref-law> könne nur von der Privatklägerschaft ein Prozesskostenvorschuss verlangt werden. Wie sich aus seinem Gesuch vom 22. Januar 2015 an das Obergericht ergebe, wolle er nur Geschädigter sein und nicht Privatkläger. Zu berücksichtigen sei auch, dass er nie die nach <ref-law> erforderliche Aufklärung erhalten habe. Schliesslich sei die angesetzte Kaution auch wegen ihrer Höhe bundesrechtswidrig.
4.2. Ob die Vorinstanz eine formelle Rechtsverweigerung begangen hat, indem sie den Beschwerdeführer unter Androhung des Nichteintretens zur Leistung einer Prozesskaution aufforderte, ist vor dem Hintergrund der Beschwerdelegitimation nach <ref-law> zu beurteilen. Nach Abs. 1 dieser Bestimmung kann jede Partei, die ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung eines Entscheides hat, ein Rechtsmittel ergreifen. Zur Beschwerde gegen die Einstellung legitimiert sind diejenigen Verfahrensbeteiligten, die ein rechtlich geschütztes Interesse an deren Aufhebung haben, d.h. durch die Einstellungsverfügung beschwert sind. Zu diesem Kreis gehören die Privatkläger. Geschädigte, die sich bis zum Abschluss des Vorverfahrens nicht als Privatkläger konstituiert haben (<ref-law>), können die Einstellungsverfügung mangels Parteistellung dagegen grundsätzlich nicht anfechten. Unter Berücksichtigung des Anspruchs auf rechtliches Gehörs gilt diese Einschränkung dann nicht, wenn die geschädigte Person noch keine Gelegenheit hatte, sich zur Frage der Konstituierung zu äussern, so etwa wenn eine Einstellung ergeht, ohne dass die Strafverfolgungsbehörde die geschädigte Person zuvor auf ihr Konstituierungsrecht aufmerksam gemacht hat (Urteil 1B_298/2012 vom 27. August 2012 E. 2.1 mit Hinweisen).
4.3. Im vorliegenden Fall hat der rechtskundige Beschwerdeführer klar zum Ausdruck gebracht, sich nicht als Privatkläger konstituieren zu wollen. Ebenso klar geht gleichzeitig aus seinen prozessualen Bestrebungen hervor, dass er die Nichtanhandnahme durch die Staatsanwaltschaft mit Beschwerde anfechten will. Wie sich aus den vorangehenden Ausführungen ergibt, sind diese beiden Positionen unvereinbar (vgl. SCHMID, der Kautionsleistungen als Gegenstück zur weitgehenden Rechtsmittellegitimation des Privatklägers bezeichnet: NIKLAUS SCHMID, Schweizerische Strafprozessordnung: Praxiskommentar, 2. Aufl. 2013, N. 1 zu <ref-law>). Wenn die Vorinstanz unter diesen Voraussetzungen vom Beschwerdeführer eine Sicherheitsleistung verlangte, kann ihr jedenfalls keine Verletzung von Parteirechten vorgeworfen werden (vgl. E. 1.5 hiervor).
4.4. Auch die Höhe der Kaution von Fr. 5'000.-- ist nicht zu beanstanden. Im Urteil 1B_324/2014 vom 17. Dezember 2014 hatte das Bundesgericht eine durch das Obergericht des Kantons Zürich angesetzte Prozesskaution von Fr. 4'000.-- zu beurteilen und diese als nicht willkürlich bezeichnet (a.a.O., E. 3.4). Im vorliegenden Fall ist zu berücksichtigen, dass sich die Strafanzeige des Beschwerdeführers gegen fünf Personen richtete, was potenziell höhere Entschädigungsansprüche erwarten lässt. Der Beschwerdeführer nimmt zwar an, dass sein Rechtsmittel aussichtslos sei, dem Obergericht deshalb ein geringer Aufwand entstehen werde und die Beschuldigten gemäss <ref-law> gar nicht ins Verfahren einzubeziehen seien. Davon ist jedoch nicht auszugehen. Der verfahrensleitende Richter, der die angefochtene Verfügung erlassen hat, wies denn auch ausdrücklich auf die spätere, einlässlichere Prüfung durch das Kollegium hin. Die in diesem Zusammenhang erhobenen Rügen (Verletzung von <ref-law>, <ref-law> und <ref-law>) sind somit unbegründet.
5.
Der Beschwerdeführer macht schliesslich geltend, Oberrichter Meyer, der die angefochtene Verfügung gefällt hat, sei voreingenommen. Er begründet dies mit dem von ihm erwarteten negativen Entscheid in der Sache. Wie bereits mehrfach erwähnt, wurde ein solcher hier noch nicht gefällt. Im Übrigen wiederholt der Beschwerdeführer seine Kritik am angefochtenen Entscheid, der seiner Ansicht nach schwere Verfahrensfehler enthält und damit Ausdruck der Befangenheit von Oberrichter Meyer ist. Wie im Vorangehenden dargelegt, sind die betreffenden Rügen unbegründet, soweit darauf einzutreten ist. Schliesslich behauptet der Beschwerdeführer, Oberrichter Meyer habe <ref-law> verletzt. Inwiefern sich aus diesem Umstand eine Befangenheit ergeben könnte, legt er jedoch nicht dar (<ref-law>).
6.
Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Prozessführung. Die Voraussetzungen gemäss <ref-law> sind jedoch nicht erfüllt. Zum einen erscheint die Beschwerde als aussichtslos. Zum andern hat der Beschwerdeführer seine finanziellen Verhältnisse nicht hinreichend offen gelegt, als dass beurteilt werden könnte, ob er nicht über die erforderlichen Mittel verfügt. Zwar ergibt sich aus einer in den Akten liegenden (nicht verifizierbaren) Erfolgsrechnung, dass sich der Jahresgewinn des Beschwerdeführers als Anwalt und Notar für das Jahr 2014 nur auf gut Fr. 19'000.-- beläuft. Den Stand seines Vermögens hat er hingegen nicht angegeben. Der sich in den Akten befindliche Auszug aus dem Betreibungsregister ist diesbezüglich schon deshalb nicht ausreichend, weil der Beschwerdeführer gegen die darin aufgeführten Forderungen Rechtsvorschlag erhoben hat.
Der Beschwerdeführer trägt somit die Gerichtskosten (<ref-law>). Er hat zudem keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Es wird keine Parteientschädigung zugesprochen.
5.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Zürich-Sihl und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 28. April 2015
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold