Sachverhalt:
A.
Die Staatsanwaltschaft II des Kantons Zürich ermittelt gegen mehrere Personen wegen des Verdachts der qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz. Im Rahmen dieser Ermittlungen wurden am 29. Juni 2016 A._ und B._ auf einem Parkplatz in Dielsdorf verhaftet. Im Auto, in dem sie sassen, wurden mehrere Säcke Heroin gefunden. Die Staatsanwaltschaft leitete gegen die beiden getrennte Strafverfahren ein.
Am 1. Juli 2016 ersuchte A._ die Staatsanwaltschaft um Vereinigung der beiden Verfahren. Die Staatsanwaltschaft lehnte dies ab mit der Begründung, es lägen derzeit keine Hinweise auf Mittäterschaft oder Teilnahme vor. Eine von A._ in der Folge erhobene Beschwerde hiess das Obergericht des Kantons Zürich mit Beschluss vom 16. August 2016 insofern gut, als sie sich gegen die Verweigerung der Vereinigung der beiden Verfahren richtete.
Am 24. August 2016 teilte die Staatsanwaltschaft A._ mit, dem Beschluss des Obergerichts hätten unvollständige Informationen zu Grunde gelegen. Die aktuelle Ausgangslage erfordere eine weiterhin getrennte Verfahrensführung. Dagegen erhob A._ erneut Beschwerde ans Obergericht. Mit Beschluss vom 29. September 2016 hiess dieses die Beschwerde gut, hob den Entscheid der Staatsanwaltschaft auf und wies die Sache zur Vereinigung der Verfahren, soweit ein Konnex zu A._ bestehe, zurück. Zur Begründung führte es aus, es gebe Hinweise auf ein arbeitsteiliges Vorgehen der beiden Beschuldigten, weshalb die Verfahren gemäss <ref-law> zu vereinen seien. Daran ändere auch nichts, dass die Staatsanwaltschaft für B._ ein abgekürztes Verfahren anstrebe. Aus dem Aussageverhalten der beiden gehe hervor, dass sie sich gegenseitig die Schuld zuzuschieben versuchten. Dies schaffe die Gefahr widersprüchlicher Urteile. Ein abgekürztes Verfahren erscheine daher nicht angebracht.
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 1. November 2016 beantragt die Staatsanwaltschaft, der Beschluss des Obergerichts vom 29. September 2016 sei aufzuheben und es sei festzustellen, dass die Verfahren gegen A._ und B._ getrennt zu führen seien.
Das Obergericht hat auf eine Stellungnahme verzichtet. A._ beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.

Erwägungen:
1.
1.1. Gegen den angefochtenen Entscheid ist gemäss <ref-law> die Beschwerde in Strafsachen gegeben. Ein kantonales Rechtsmittel steht nicht zur Verfügung. Die Beschwerde ist somit nach <ref-law> zulässig.
1.2. In <ref-ruling> hat das Bundesgericht in Änderung seiner bisherigen Praxis entschieden, dass in Kantonen, wo eine staatsanwaltliche Behörde für die Strafverfolgung aller Straftaten im ganzen Kantonsgebiet zuständig ist, nur diese Behörde die Beschwerdeberechtigung gemäss <ref-law> besitzt (a.a.O., E. 1.5.2 S. 200 f. mit Hinweisen). Dies ist im Kanton Zürich die Oberstaatsanwaltschaft. Die Zuständigkeit der Staatsanwaltschaft II erstreckt sich zwar auf das ganze Kantonsgebiet, jedoch nur für bestimmte Delikte (Betäubungsmitteldelikte und organisierte Kriminalität; § 93 des Gesetzes des Kantons Zürich vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess [GOG; LS 211.1] i.V.m. § 10 Abs. 1 lit. b der Verordnung des Kantons Zürich vom 27. Oktober 2004 über die Organisation der Oberstaatsanwaltschaft und der Staatsanwaltschaften [LS 213.21]). Sie ist gemäss der Praxisänderung deshalb nicht mehr zur Beschwerde legitimiert. Zudem sieht § 107 Abs. 1 lit. a GOG ausdrücklich vor, dass die Oberstaatsanwaltschaft den Kanton Zürich in Rechtsmittelverfahren vor dem Bundesgericht vertritt.
In einem Urteil vom 23. November 2016 ist das Bundesgericht dennoch auf die Beschwerde einer besonderen Staatsanwaltschaft (Staatsanwaltschaft III - Wirtschaftsdelikte) eingetreten (Urteil 1B_297/2016 vom 23. November 2016 E. 1.1 mit Hinweisen). Es hielt fest, die Praxisänderung sei erst ab dem Zeitpunkt ihrer amtlichen Publikation anwendbar. Die erwähnte Bestimmung von § 107 Abs. 1 lit. a GOG, welche die Vertretung des Kantons im Rechtsmittelverfahren vor Bundesgericht der Oberstaatsanwaltschaft vorbehält, wurde dabei nicht thematisiert. Vor diesem Hintergrund ist im vorliegenden Verfahren die Staatsanwaltschaft II zur Beschwerde zuzulassen. Inskünftig wird indessen die Beschwerdeführung sowohl gestützt auf <ref-law> als auch § 107 Abs. 1 lit. a GOG ausschliesslich der Oberstaatsanwaltschaft möglich sein.
1.3. Der vorinstanzliche Entscheid schliesst das Strafverfahren nicht ab. Es handelt sich um einen Zwischenentscheid. Gemäss <ref-law> ist gegen selbständig eröffnete Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren die Beschwerde zulässig (Abs. 1). Diese Entscheide können später nicht mehr angefochten werden (Abs. 2). Gegen andere selbständig eröffnete Zwischenentscheide ist die Beschwerde nach <ref-law> zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können. Das Bundesgericht hat bisher offengelassen, ob es sich bei Verfahrenstrennungen um Streitigkeiten betreffend die Zuständigkeit im Sinne von <ref-law> handelt (Urteile 1B_124/2016 vom 12. August 2016 E. 1, 1B_187/2015 vom 6. Oktober 2015 E. 1.5.2; je mit Hinweisen). Die Frage braucht auch vorliegend nicht entschieden zu werden, zumal praxisgemäss ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law> zu bejahen ist, wenn eine Behörde durch einen Rückweisungsentscheid gezwungen wird, einer von ihr als falsch erachteten Weisung Folge zu leisten (<ref-ruling> E. 5.2 S. 483 ff.; Urteile 6B_845/2015 vom 1. Februar 2016 E. 1.2.2, nicht publ. in <ref-ruling>; 1B_341/2013 vom 14. Februar 2014 E. 1.2, in: SJ 2014 I p. 397; 1B_759/2012 vom 20. Februar 2013 E. 1.3; je mit Hinweisen).
1.4. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2.
2.1. Die Staatsanwaltschaft ist der Auffassung, das Obergericht habe in Verletzung von Art. 29 f. StPO eine Verfahrensvereinigung angeordnet. In diesem Zusammenhang macht sie geltend, B._ befinde sich in Untersuchungshaft. Da er geständig sei, könne das abgekürzte Verfahren gemäss <ref-law> durchgeführt werden. Das Obergericht habe dagegen festgestellt, dass bei B._ das abgekürzte Verfahren nicht angebracht sei. Dies bedeute für diesen insbesondere aufgrund seiner Inhaftierung einen schweren Nachteil. Trotzdem sei ihm weder vorgängig das rechtliche Gehör gewährt noch nachträglich der Beschluss des Obergerichts mitgeteilt worden.
2.2. Das Bundesgericht hat im Urteil 1B_187/2015 vom 6. Oktober 2015 dargelegt, dass eine Verfahrenstrennung einen nicht wieder gutzumachenden Nachteil rechtlicher Natur zur Folge haben kann (a.a.O., E. 1.5.3). Dasselbe gilt für die Vereinigung von Verfahren, da sie dazu führen kann, dass sich das Verfahren zumindest für einen der Beschuldigten verlängert. Dass B._ insbesondere angesichts der andauernden Untersuchungshaft und der von der Vorinstanz als unzulässig erklärten Durchführung des abgekürzten Verfahrens vom Beschluss des Obergerichts betroffen ist, liegt auf der Hand. Das Obergericht hätte deshalb vor der Anordnung einer Vereinigung der Verfahren auch B._ Gelegenheit geben müssen, sich zu äussern. Indem es dies nicht tat, verletzte es das rechtliche Gehör (<ref-law>). Die Rüge der Staatsanwaltschaft ist begründet. Der angefochtene Entscheid ist deshalb aufzuheben und die Sache zur neuen Beurteilung unter Gewährung des rechtlichen Gehörs ans Obergericht zurückzuweisen. Damit erübrigt es sich, auf die weiteren Vorbringen der Staatsanwaltschaft einzugehen.
3.
Die Beschwerde ist somit gutzuheissen, der angefochtene Beschluss aufzuheben und die Sache zur beförderlichen Neubeurteilung an das Obergericht zurückzuweisen.
Bei diesem Verfahrensausgang erscheint es gerechtfertigt, keine Gerichtskosten zu erheben (<ref-law>). Der Beschwerdegegner stellt ein Gesuch um unentgeltliche Rechtspflege. Da die Voraussetzungen erfüllt sind, ist dem Gesuch stattzugeben (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und der angefochtene Beschluss aufgehoben. Die Sache wird zur neuen Beurteilung ans Obergericht zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege wird gutgeheissen. Rechtsanwalt Adrian Bigler wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'000.-- entschädigt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 13. Januar 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold