Sachverhalt:
A.
Die Staatsanwaltschaft II des Kantons Zürich führte gegen A._ eine Strafuntersuchung. Am 23. März 2015 erhob sie Anklage wegen strafbarer Vorbereitungshandlungen zu Freiheitsberaubung und Entführung, mehrfacher Anstiftung zu Amtsgeheimnisverletzung und mehrfacher Widerhandlung gegen das Arbeitslosenversicherungsgesetz (Nebendossiers 2-4). Mit zwei Verfügungen desselben Datums stellte sie zum einen das Verfahren betreffend versuchte Hehlerei etc. (Hauptdossier) und dasjenige betreffend Drohung etc. (Nebendossier 1) ein. Die Einstellungsverfügungen erwuchsen in Rechtskraft.
Mit Eingabe vom 4. Februar 2016 erhob A._ beim Obergericht des Kantons Zürich eine Rechtsverweigerungsbeschwerde. Er beantragte, die Staatsanwaltschaft sei anzuweisen, die Strafuntersuchung betreffend schwere Widerhandlung gegen das Betäubungsmittelgesetz, versuchte Anstiftung zu Diebstahl, Urkundenfälschung und eventuell Erpressung unter Regelung der Entschädigungs- und Genugtuungsfolgen sowie der Entschädigung der amtlichen Verteidigung unverzüglich einzustellen, eventuell zu eröffnen und sofort einzustellen. Zur Begründung führte er unter anderem aus, er habe Anspruch darauf, dass das Verfahren in allen Punkten, die nicht zu einer Anklage geführt hätten, formell eingestellt werde und ihm für die lange Dauer der Untersuchung und die verschiedenen Zwangsmassnahmen eine Entschädigung und eine Genugtuung zugesprochen werde. In Bezug auf die genannten Delikte sei die Strafuntersuchung stattdessen entschädigungslos unter den Tisch gewischt worden.
Das Obergericht trat auf die Beschwerde mit Beschluss vom 15. Juli 2016 nicht ein. Es hielt fest, A._ habe sich treuwidrig verhalten, indem er mit seiner Beschwerde grundlos zugewartet habe.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 13. September 2016 beantragt A._ die Aufhebung des Beschlusses des Obergerichts und wiederholt im Übrigen die im vorinstanzlichen Verfahren gestellten Anträge.
Das Obergericht und die Staatsanwaltschaft haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid in einer Strafsache (Art. 78 Abs. 1 und Art. 80 BGG). Der Beschwerdeführer ist der Auffassung, die Strafbehörden weigerten sich, in Bezug auf gewisse Straftatbestände das Verfahren korrekt, das heisst mit Einstellungsverfügung und unter Regelung der Entschädigungs- und Genugtuungsansprüche abzuschliessen. Damit macht er einen nicht wieder gutzumachenden Nachteil geltend (<ref-law>). Auf seine Beschwerde ist einzutreten.
2.
2.1. Das Obergericht führte zur Begründung seines Beschlusses aus, das prozessuale Verhalten des anwaltlich vertretenen Beschwerdeführers sei treuwidrig. Er habe bereits im Vorverfahren Kenntnis davon gehabt, dass gegen ihn wegen des Verdachts eines Betäubungsmitteldelikts ermittelt worden sei. Am 25. Februar 2015 sei ihm mitgeteilt worden, dass betreffend mehrere Delikte geheime Überwachungsmassnahmen angeordnet worden seien. Es wäre ihm ohne Weiteres zumutbar gewesen, bereits die Einstellungsverfügung vom 23. März 2015 betreffend Hehlerei etc. anzufechten. Jedenfalls verdiene das lange Zuwarten bis zur Erhebung der Rechtsverweigerungsbeschwerde am 4. Februar 2016 keinen Rechtsschutz, zumal ihm die Staatsanwaltschaft gemäss ihrem Schreiben vom 22. Januar 2016 bereits mehrfach erläutert habe, dass aus ihrer Sicht am 23. März 2015 sämtliche gegen ihn geführten Strafuntersuchungen abgeschlossen worden seien und deshalb kein Anlass für Weiterungen bestehe. Zudem habe die Staatsanwaltschaft damals eine Gesamtbetrachtung der Kosten- und Entschädigungsfolgen bezüglich der gesamten Strafuntersuchung vorgenommen.
2.2. Der Beschwerdeführer ist der Ansicht, das Obergericht habe Art. 2 Abs. 2 i.V.m. Art. 309 und 319, Art. 3 Abs. 2 und <ref-law> verletzt. Zudem habe sie seinen Anspruch auf rechtliches Gehör missachtet, indem sie ihm keine Gelegenheit zur Stellungnahme betreffend die nicht zu erwartende rechtliche Begründung eingeräumt habe (<ref-law>).
Zur Begründung bringt er im Wesentlichen vor, er habe die Staatsanwaltschaft mit Schreiben vom 21. Januar 2016 unter Verweis auf die unklare Einstellungsverfügung vom 23. März 2015 und Überwachungsmassnahmen betreffend <ref-law>, Art. 24 Abs. 2 i.V.m. Art. 139, Art. 251 Ziff. 1 und Art. 156 StGB aufgefordert, ihm mitzuteilen, bezüglich welcher dieser Straftatbestände Strafuntersuchungen eröffnet worden seien. Gleichzeitig habe er Entschädigungs- und Genugtuungsforderungen geltend gemacht. Nachdem ihm die Staatsanwaltschaft mitgeteilt habe, es seien keine Strafuntersuchungen mehr hängig, habe er innert 10 Tagen Beschwerde ans Obergericht erhoben. Gegen Treu und Glauben verstosse dies nicht. Vielmehr habe die Staatsanwaltschaft selbst diesen Grundsatz missachtet, indem sie trotz der erfolgten Zwangsmassnahmen das Strafverfahren in Bezug auf verschiedene Straftatbestände ohne förmlichen Abschluss unter den Tisch gewischt habe. Aus taktischen Gründen habe er die von der Staatsanwaltschaft geschaffene unklare Situation nach dem 23. März 2015 bestehen lassen, bis klar gewesen sei, dass sie keine Anschlussberufung mehr erheben könne. Seit der Schlusseinvernahme vom 24. Februar 2015 habe er mit ihr keinen mündlichen Kontakt mehr gehabt. Er habe jedoch mit Schreiben vom 5. und 11. März 2015 kritisiert, es sei unklar, was alles untersucht worden sei.
2.3. Die beteiligten Parteien haben nach <ref-law> Anspruch auf vorgängige Anhörung, wenn eine Behörde ihren Entscheid mit einem Rechtssatz oder einem Rechtstitel zu begründen beabsichtigt, der im bisherigen Verfahren nicht herangezogen wurde, auf den sich die Parteien nicht berufen haben und mit dessen Erheblichkeit im konkreten Fall sie nicht rechnen konnten (<ref-ruling> E. 5.4.1 S. 26 mit Hinweis).
Diese Voraussetzungen sind vorliegend nicht erfüllt. Die Staatsanwaltschaft legte in ihrer Vernehmlassung im Verfahren vor dem Obergericht unter Hinweis auf die Einstellungsverfügung vom 23. März 2015 dar, es sei rechtsmissbräuchlich, wenn der Beschuldigte nun weitere Zivilansprüche geltend mache. Der Beschwerdeführer erhielt Gelegenheit, sich dazu zu äussern. Damit wurde sein Anspruch auf rechtliches Gehör gewahrt. Eine darüber hinausgehende Verpflichtung der Behörde, ihre Begründung vorweg den Parteien zur Stellungnahme zu unterbreiten, ergibt sich aus <ref-law> nicht (<ref-ruling> E. 3.4 S. 495 mit Hinweisen).
2.4. Gemäss <ref-law> sind Beschwerden wegen Rechtsverweigerung oder Rechtsverzögerung an keine Frist gebunden. Vorausgesetzt ist indessen, dass das Erheben des Rechtsmittels nicht gegen Treu und Glauben verstösst (<ref-ruling> E. 4.1.5 S. 100 f. mit Hinweisen; vgl. aus der Fachliteratur etwa: PATRICK GUIDON, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2. Aufl. 2014, N. 19 zu <ref-law>; NIKLAUS SCHMID, Schweizerische Strafprozessordnung: Praxiskommentar, 2. Aufl. 2013, N. 6 zu <ref-law>; ANDREAS J. KELLER, in: Kommentar zur Schweizerischen Strafprozessordnung [StPO], 2. Aufl. 2014, N. 8 zu <ref-law>; MARC RÉMY, Commentaire romand, Code de procédure pénale suisse, 2011, N. 15 zu <ref-law>).
Die Staatsanwaltschaft eröffnete im Verfahren gegen den Beschwerdeführer ein Hauptdossier und vier Nebendossiers. Während es in den Nebendossiers 2-4 Anklage erhob, stellte es die Verfahren betreffend die Straftatbestände, welche Teil des Hauptdossiers und des Nebendossiers 1 bildeten, ein. Bereits dies lässt darauf schliessen, dass die Staatsanwaltschaft davon ausging, die Untersuchung sei damit vollständig abgeschlossen (<ref-law>). Dasselbe ergibt sich aus der Einstellungsverfügung betreffend versuchte Hehlerei etc. (Hauptdossier) vom 23. März 2015. Zum einen führte die Staatsanwaltschaft darin aus, es rechtfertige sich "eine Gesamtbetrachtung der Kosten- und Entschädigungsfolgen bezüglich der gesamten gegen den Beschuldigten geführten Strafuntersuchung". Zum andern ging sie bei der Beurteilung der geltend gemachten Genugtuungsansprüche auch auf die Zwangsmassnahmen ein, die der Beschwerdeführer nun erneut ins Feld führt.
Vor diesem Hintergrund kann nicht von einer unklaren Lage oder gar von einer Verschleierungsstrategie der Staatsanwaltschaft gesprochen werden, wie der Beschwerdeführer dies tut. Er selbst räumt im Übrigen unumwunden ein, aus taktischen Gründen mit seiner Rechtsverweigerungsbeschwerde zugewartet zu haben. Ein nachvollziehbarer Grund für dieses prozessuale Verhalten ist jedoch nicht ersichtlich. Zusammen mit der Vorinstanz ist davon auszugehen, dass der Beschwerdeführer bereits am 23. März 2015 Anlass gehabt hätte, die von ihm behauptete Rechtsverweigerung durch die Staatsanwaltschaft geltend zu machen. Wenn er bis am 4. Februar 2016 zuwartete, um weitergehende Entschädigungs- und Genugtuungsansprüche zu erheben, verstiess er gegen Treu und Glauben und verwirkte dadurch das Rechtsmittel. Es ist deshalb nicht zu beanstanden, dass das Obergericht auf die Beschwerde nicht eintrat.
3.
Die Beschwerde ist aus diesen Gründen abzuweisen.
Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwalt Dr. Dieter Aebi wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft II und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 25. November 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold