Sachverhalt: A. Die Staatsanwaltschaft II des Kantons Zürich führte gegen A._ eine Strafuntersuchung. Am 23. März 2015 erhob sie Anklage wegen strafbarer Vorbereitungshandlungen zu Freiheitsberaubung und Entführung, mehrfacher Anstiftung zu Amtsgeheimnisverletzung und mehrfacher Widerhandlung gegen das Arbeitslosenversicherungsgesetz (Nebendossiers 2-4). Mit zwei Verfügungen desselben Datums stellte sie zum einen das Verfahren betreffend versuchte Hehlerei etc. (Hauptdossier) und dasjenige betreffend Drohung etc. (Nebendossier 1) ein. Die Einstellungsverfügungen erwuchsen in Rechtskraft. Mit Eingabe vom 4. Februar 2016 erhob A._ beim Obergericht des Kantons Zürich eine Rechtsverweigerungsbeschwerde. Er beantragte, die Staatsanwaltschaft sei anzuweisen, die Strafuntersuchung betreffend schwere Widerhandlung gegen das Betäubungsmittelgesetz, versuchte Anstiftung zu Diebstahl, Urkundenfälschung und eventuell Erpressung unter Regelung der Entschädigungs- und Genugtuungsfolgen sowie der Entschädigung der amtlichen Verteidigung unverzüglich einzustellen, eventuell zu eröffnen und sofort einzustellen. Zur Begründung führte er unter anderem aus, er habe Anspruch darauf, dass das Verfahren in allen Punkten, die nicht zu einer Anklage geführt hätten, formell eingestellt werde und ihm für die lange Dauer der Untersuchung und die verschiedenen Zwangsmassnahmen eine Entschädigung und eine Genugtuung zugesprochen werde. In Bezug auf die genannten Delikte sei die Strafuntersuchung stattdessen entschädigungslos unter den Tisch gewischt worden. Das Obergericht trat auf die Beschwerde mit Beschluss vom 15. Juli 2016 nicht ein. Es hielt fest, A._ habe sich treuwidrig verhalten, indem er mit seiner Beschwerde grundlos zugewartet habe. B. Mit Beschwerde in Strafsachen ans Bundesgericht vom 13. September 2016 beantragt A._ die Aufhebung des Beschlusses des Obergerichts und wiederholt im Übrigen die im vorinstanzlichen Verfahren gestellten Anträge. Das Obergericht und die Staatsanwaltschaft haben auf eine Vernehmlassung verzichtet.