Sachverhalt:
A.
Am 29. September 2015 erhob die Staatsanwaltschaft II des Kantons Zürich Anklage gegen X._ wegen mehrfacher qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz (BetmG; Ziffer 1.1: Heroineinfuhr vom 20. September 2014, Ziffer 1.2: Heroineinfuhr vom 17. Oktober 2014). Mit Urteil vom 14. März 2016 sprach das Bezirksgericht Horgen den Beschuldigten im Sinne der Anklage schuldig, bestrafte ihn mit 7 Jahren Freiheitsstrafe und ordnete u.a. die Einziehung der beschlagnahmten Barschaften von Fr. 30'360.-- als Drogengeld zu Gunsten der Staatskasse an. Dagegen legte X._ Berufung ein.
B.
Mit Urteil vom 16. März 2017 erkannte das Obergericht des Kantons Zürich u.a. Folgendes:
1. Der Beschuldigte ist schuldig der qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz im Sinne von Art. 10 Abs. 1 lit. b in Verbindung mit Art. 19 Abs. 2 lit. a BetmG.
2. Der Widerhandlung gegen das Betäubungsmittelgesetz bezüglich Anklage Ziffer 1.1 (Heroineinfuhr vom 20. September 2014) ist der Beschuldigte nicht schuldig und er wird von diesem Vorwurf freigesprochen.
3. Der Beschuldigte wird bestraft mit 6 Jahren Freiheitsstrafe, wovon bis heute 870 Tage durch Untersuchungs- und Sicherheitshaft sowie durch vorzeitigen Strafvollzug erstanden sind.
4. (...).
5. Von den (...) beschlagnahmten Barschaften (...) werden ein Teilbetrag von Fr. 4'000.-- als Drogengeld zu Gunsten der Staatskasse eingezogen und der verbleibende Betrag von Fr. 26'360.-- zur Deckung der Verfahrenskosten verwendet. Ein allfälliger Restbetrag ist dem Beschuldigten herauszugeben.
(...).
C.
Mit Beschwerde in Strafsachen beantragt X._, das angefochtene Urteil vom 16. März 2017 sei aufzuheben und er sei freizusprechen; eventualiter sei der vorinstanzliche Schuldspruch zu bestätigen und er unter Anrechnung des erstandenen Freiheitsentzugs (Untersuchungs- und Sicherheitshaft sowie vorzeitiger Strafvollzug) mit einer Freiheitsstrafe von maximal 5 Jahren zu bestrafen; subeventualiter sei die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen.
Die Oberstaatsanwaltschaft und das Obergericht des Kantons Zürich verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Der Beschwerdeführer rügt eine Verletzung von Art. 81 Abs. 2 lit. d StPO und Art. 112 Abs. 1 lit. a BGG sowie seines Anspruchs auf rechtliches Gehör. Im Rubrum des obergerichtlichen Urteils würden die von der Verteidigung im Berufungsplädoyer gestellten Hauptanträge nur unvollständig aufgeführt und die Eventualanträge überhaupt nicht erwähnt. Der angefochtene Entscheid sei daher aufzuheben. Die Rüge ist unbegründet. Gemäss Urteil 6B_633/2015 vom 12. Januar 2016 E. 6 stehen die in Art. 81 StPO detailliert aufgelisteten Anforderungen an Aufbau und Inhalt von Endentscheiden zwar nicht zur Disposition der Gerichte, sondern sind verbindlich. Daraus folgt indessen nicht, dass namentlich Abs. 2 lit. d dieser Bestimmung in dem Sinne zwingend ist, dass bei dessen Verletzung das betreffende Urteil ohne Weiteres aufzuheben wäre. Im Übrigen zeigt der Beschwerdeführer nicht auf und es ist auch nicht ersichtlich, inwiefern er durch den Mangel beschwert ist bzw. dadurch einen Rechtsnachteil erleidet.
2.
2.1. In der Begründung einer Beschwerde in Strafsachen nach Art. 78 ff. BGG ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid bei der Anwendung von materiellem Strafrecht oder Strafprozessrecht (<ref-ruling> E. 1.4.3 S. 41) Recht verletzt (Art. 42 Abs. 1 und 2 BGG). Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen der Vorinstanz auseinandersetzt (<ref-ruling> E. 2.1 S. 245; Urteil 6B_676/2013 vom 28. April 2014 E. 1). Die Feststellung des Sachverhalts durch die Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Offensichtlich unrichtig ist eine Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 10.1 S. 445 mit Hinweisen).
2.2. Als Beweiswürdigungsregel besagt der Grundsatz "in dubio pro reo", dass sich das (Straf-) Gericht nicht von der Existenz eines für die beschuldigte Person ungünstigen Sachverhalts überzeugt erklären darf, wenn bei objektiver Betrachtung erhebliche und nicht zu unterdrückende Zweifel bestehen, ob sich der Sachverhalt so verwirklicht hat. Der Grundsatz ist verletzt, wenn das Gericht an der Schuld hätte zweifeln müssen. Dabei sind bloss abstrakte und theoretische Zweifel nicht massgebend, weil solche immer möglich sind und absolute Gewissheit nicht verlangt werden kann. Ob der Grundsatz "in dubio pro reo" als Beweiswürdigungsregel verletzt ist, prüft das Bundesgericht unter dem Gesichtspunkt der Willkür (<ref-ruling> E. 7 S. 81; <ref-ruling> E. 2a S. 41).
3.
Streitgegenstand bildet die Verurteilung des Beschwerdeführers durch das Obergericht wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz nach Art. 10 Abs. 1 lit. b i.V.m. Art. 19 Abs. 2 lit. a BetmG betreffend die Heroineinfuhr vom 17. Oktober 2014 im Sinne von Ziff. 2 der Anklage sowie allenfalls das Strafmass von sechs Jahren Freiheitsstrafe.
4.
Der Beschwerdeführer rügt, der Staatsanwalt habe weder eine schriftliche Schlussverfügung erlassen noch eine Frist zum Stellen von Beweisanträgen gesetzt. Diese Versäumnisse stellten nicht heilbare Mängel dar und führten nach der Rechtsprechung des Bundesgerichts zur Nichtigkeit der Anklage. Die Rüge ist unbegründet.
Erachtet die Staatsanwaltschaft die Untersuchung als vollständig, so erlässt sie einen Strafbefehl oder kündigt den Parteien mit bekanntem Wohnsitz schriftlich den bevorstehenden Abschluss an und teilt ihnen mit, ob sie Anklage erheben oder das Verfahren einstellen will. Gleichzeitig setzt sie den Parteien eine Frist, Beweisanträge zu stellen (Art. 318 Abs. 1 StPO). Nach Feststellung der Vorinstanz wurde die Schlussverfügung mündlich protokolliert, ohne dass gleichzeitig Frist zum Stellen von Beweisanträgen angesetzt worden wäre. Dies widerspricht Art. 318 Abs. 1 StPO. Eine Verletzung dieser Vorschrift hat indessen nicht die Nichtigkeit der Anklage zur Folge. Es besteht keine in diesem Sinne lautende Rechtsprechung. Gemäss dem in der Beschwerde erwähnten Urteil 6B_59/2012 vom 31. Mai 2012 E. 2.1.1 ist der danach zu erlassende Entscheid (Einstellung des Verfahrens oder Anklageerhebung) anfechtbar. Aus Art. 318 Abs. 2 Satz StPO, wonach abgelehnte Beweisanträge im Hauptverfahren erneut gestellt werden können, ist sodann zu folgern, dass eine allfällige Verletzung des rechtlichen Gehörs heilbar ist, wie auch die Vorinstanz erkannt hat, und eine Rückweisung der Anklage somit grundsätzlich ausser Betracht fällt (Silvia Steiner, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2. Aufl. 2014, N. 15 ff. zu Art. 318 StPO; vgl. auch Jo Pitteloud, Code de procédure pénale suisse, 2012, S. 545 f.). Auf die Kritik in der Beschwerde betreffend die Möglichkeit der Heilung einer Gehörsverletzung ist nicht weiter einzugehen, da sie im Gesetz selber angelegt ist, welches für das Bundesgericht und die anderen rechtsanwendenden Behörden verbindlich ist (Art. 190 BV).
5.
Weiter macht der Beschwerdeführer geltend, abgesehen von der Schlusseinvernahme seien sämtliche Einvernahmen unverwertbar, weil zu Beginn und in deren Verlauf kein konkreter, genauer und vollständiger Tatvorhalt erfolgt sei. Die Auffassung der Vorinstanz, wonach die (zweite) Einvernahme vom 30. Oktober 2014 durch die Staatsanwaltschaft ab Frage 174 und alle weiteren Einvernahmen grundsätzlich verwertbar sein sollen, sei widersinnig und rechtswidrig, mit dem klaren Gesetzeswortlaut und der strikten Fernwirkung von Beweisverwertungsverboten nach Art. 141 Abs. 1 StPO nicht vereinbar.
5.1. Polizei oder Staatsanwaltschaft weisen die beschuldigte Person zu Beginn der ersten Einvernahme in einer ihr verständlichen Sprache u.a. darauf hin, dass gegen sie ein Vorverfahren eingeleitet worden ist und welche Straftaten Gegenstand des Verfahrens bilden (Art. 158 Abs. 1 lit. a StPO). Nach der Rechtsprechung muss der Beschuldigte in allgemeiner Weise und nach dem aktuellen Verfahrensstand darüber aufgeklärt werden, welches Delikt ihm zur Last gelegt wird. Dabei geht es nicht in erster Linie um den Vorhalt strafrechtlicher Begriffe oder Bestimmungen, sondern um denjenigen der konkreten äusseren Umstände der Straftat. Die Information über den Gegenstand der Strafuntersuchung ist Voraussetzung dafür, dass sich der Beschuldigte zu den Tatvorwürfen äussern kann (vgl. Art. 143 Abs. 4 StPO; <ref-ruling> E. 1.3.3 S. 29). Im frühen Verfahrensstadium der ersten Einvernahme ist aber eine gewisse Verallgemeinerung im Hinblick auf eine erfolgreiche Durchführung der Strafuntersuchung zulässig. Massgebend ist die Tathypothese, mit welcher die Strafverfolgungsbehörde arbeitet (Urteil 6B_1262/2015 vom 18. April 2016 E. 3.2); diese ist indessen nicht verpflichtet, ihr gesamtes Wissen vor der ersten Einvernahme offenzulegen (Urteil 6B_518/2014 vom 4. Dezember 2014 E. 1.4). Einvernahmen ohne diese Hinweise sind nicht verwertbar (Art. 158 Abs. 2 StPO).
5.2. Die Vorinstanz erwägt, die erste Instanz sei zum Schluss gekommen, die erste polizeiliche Hafteinvernahme vom 29. Oktober 2014 sei unverwertbar, die zweite Einvernahme vom folgenden Tag durch die Staatsanwaltschaft erst ab Frage 174 verwertbar; die Verwertbarkeit der weiteren Einvernahmen stehe ausser Frage. Davon sei im Lichte der bundesgerichtlichen Rechtsprechung, u.a. Urteil 6B_1262/2015 vom 18. April 2016, auch im Berufungsverfahren auszugehen. Dem Beschwerdeführer sei in der (zweiten) Einvernahme vom 30. Oktober 2014 bereits zu Beginn in Frage 5 vorgehalten worden, er werde verdächtigt, im Mehrkilobereich mit Heroin gehandelt zu haben. Später sei ihm in Frage 172 vorgehalten worden, es bestehe der dringende Verdacht, dass er mit A._ im Drogenhandel zusammengewirkt habe und mit dem Mercedes ML Drogen transportiert bzw. in die Schweiz eingeführt habe. Weiter sei in Frage 174 ausgeführt worden, A._ habe zugegeben, dass er Anfang Oktober 2014 wie auch am 22. und 24. Oktober 2014 Heroin verkauft habe. Spätestens dann sei der Beschuldigte auch über den ungefähren Tatzeitpunkt orientiert gewesen, wobei die genaueren Daten der Heroineinfuhren nach zutreffender Feststellung der ersten Instanz in diesem Verfahrensstadium noch nicht bekannt gewesen seien. Dessen Aussagen ab Frage 174 in der Einvernahme vom 30. Oktober 2014 seien somit uneingeschränkt verwertbar.
5.3. Nach dem klaren Wortlaut von Art. 158 Abs. 1 Ingress und Abs. 2 StPO ist die erste Einvernahme nicht verwertbar, wenn nicht zu Beginn ein rechtsgenüglicher Tatvorhalt erfolgt (vgl. auch Art. 141 Abs. 1 Satz 2 StPO; Niklaus Ruckstuhl, in: Basler Kommentar, Schweizerische Strafprozessordnung, Art. 1-195 StPO, 2. Aufl. 2014, N. 33 zu Art. 158 StPO; Gunhild Godenzi, in: Kommentar zur Schweizerischen Strafprozessordnung [StPO], Donatsch/Hansjakob/Lieber [Hrsg.], 2. Aufl. 2014, N. 33 zu Art. 158 StPO; Pitteloud, a.a.O. S. 247 unten). Folgerichtig hat die nächste Einvernahme neu als erste Einvernahme im Sinne von Art. 158 Abs. 1 StPO zu gelten. Andernfalls bliebe diese Vorschrift weitgehend toter Buchstabe und die Strafverfolgungsbehörden hätten es regelmässig in der Hand zu bestimmen, ob und in welchem Zeitpunkt sie den Beschuldigten mit einem rechtsgenüglichen Tatvorwurf konfrontieren wollen, was dem Normzweck offensichtlich zuwiderliefe. Erfolgt in einer ersten Einvernahme im dargelegten Sinne der inhaltlich gesetzeskonforme Tatvorhalt nicht zu Beginn, sondern erst im Verlauf, ist grundsätzlich die Einvernahme insgesamt nicht verwertbar, wie wenn der Tatvorwurf erst aufgrund von Aussagen des Beschuldigten selber gemacht werden konnte. Eine lediglich partielle Unverwertbarkeit der Einvernahme bis zum betreffenden Zeitpunkt fällt ausser Betracht. Beruht - umgekehrt - der Tatvorwurf nicht notwendigerweise im Sinne einer "conditio sine qua non" auf unverwertbaren Aussagen des Beschuldigten, spricht auch unter dem Gesichtspunkt der strikten Fernwirkung des Beweisverwertungsverbots nach Art. 141 Abs. 1 Satz 2 StPO (vgl. Godenzi, a.a.O.) nichts gegen die Verwertbarkeit späterer Einvernahmen. In diesem Zusammenhang ist daran zu erinnern, dass die Strafverfolgungsbehörden nicht verpflichtet sind, die detaillierte Belehrung gemäss Art. 158 Abs. 1 lit. a StPO vor jeder weiteren Einvernahme zu wiederholen (Urteil 6B_518/2014 vom 4. Dezember 2014 E. 1.5).
Unbestritten war weder bei der polizeilichen Einvernahme vom 29. Oktober 2014 noch bei der Einvernahme am folgenden Tag durch die Staatsanwaltschaft zu Beginn ein rechtsgenüglicher Tatvorhalt nach Art. 158 Abs. 1 lit. a StPO erfolgt. Beide Einvernahmen sind daher als Ganzes nicht verwertbar, insbesondere somit auch nicht diejenige vom 30. Oktober 2014 ab Frage 174. Anderes gilt für die weiteren Einvernahmen. Der Tatvorwurf, der sich aus den Fragen 5, 172 und 174 der Einvernahme vom 30. Oktober 2014 ergibt, genügt den inhaltlichen Anforderungen nach Art. 158 Abs. 1 lit. a StPO (und Art. 143 Abs. 1 lit. b StPO). Darin wird dem Beschwerdeführer zunächst der Vorhalt gemacht, er habe in einem bestimmten identifizierbaren Fahrzeug mehrere Kilogramm Heroin in die Schweiz eingeführt. Aus den A._ betreffenden Angaben der Staatsanwaltschaft und dem weiteren Vorhalt, mit diesem im Drogenhandel zusammengewirkt zu haben, musste der Beschuldigte sodann folgern, dass die Strafverfolgungsbehörden davon ausgingen, bei dem von diesem an verschiedenen Tagen im Oktober 2014 verkauften Heroin handle es sich um das von ihm eingeführte. Dieser Tatvorhalt ist zwar knapp gehalten, er ist jedoch genügend. Wie der Beschwerdeführer selber einräumt, wurden damit die Tatzeit und die (direkte) Übergabe an A._ zumindest angedeutet. Nichts zu seinen Gunsten ergibt sich aus dem Umstand, dass und soweit gemäss der ersten Instanz bereits bei seiner Festnahme der dringende Tatverdacht bestand, "dass er im Herbst 2014 20 Kilo Heroin von B._ in die Schweiz einführte und an A._ übergab", was ihm zu Beginn der ersten Einvernahme hätte vorgehalten werden müssen. Die Strafverfolgungsbehörden sind nicht verpflichtet, ihr gesamtes Wissen vor der ersten Einvernahme offenzulegen (E. 5.1 hiervor). Mit Bezug auf den Tatzeitpunkt ist davon auszugehen, dass bei den ersten beiden Einvernahmen vom 29. und 30. Oktober 2014 offen war, ob der Transport in einer oder in mehreren Fahrten erfolgte. Das Fehlen einer genauen Mengenangabe sodann kann darin begründet sein, dass unklar war, ob das gesamte bei A._ sichergestellte Heroin oder lediglich ein Teil davon vom Beschuldigten "stammte". Im Übrigen ist nicht ersichtlich und der Beschwerdeführer legt auch nicht dar, inwiefern der Umstand, dass das "Ursprungsland des Transports, also B._" nicht genannt wurde, ihn daran hinderte, den Tatvorwurf als solchen wie auch in seiner Tragweite zu erfassen. Da der in den Fragen 5, 172 und 174 der Einvernahme vom 30. Oktober 2014 formulierte Tatvorhalt nicht erst aufgrund von Aussagen des Beschuldigten gemacht werden konnte, vielmehr bereits bei der Festnahme der dringende Tatverdacht bestand, er habe im Herbst 2014 20 Kilo Heroin von B._ in die Schweiz eingeführt und an A._ übergeben, sind alle späteren Einvernahmen grundsätzlich verwertbar. Inwiefern im Übrigen das Obergericht aus der nicht verwertbaren Einvernahme vom 30. Oktober 2014 ab Frage 174 entscheidwesentliche Schlüsse zieht, ist nicht ersichtlich und wird in der Beschwerde auch nicht dargetan.
Die Rügen betreffend die Unverwertbarkeit sämtlicher Einvernahmen mit Ausnahme der Schlusseinvernahme sind unbegründet.
6.
Der Beschwerdeführer bestreitet die Verwertbarkeit der Aussagen des verdeckten Ermittlers "C._". Gemäss <ref-ruling> genüge die Befragung dieses Belastungszeugen durch die Staatsanwaltschaft bei der Einvernahme vom 20. Mai 2015 nicht, um seine bereits stark eingeschränkten Verteidigungsrechte (fehlende Kenntnis von Identität und Leumund, keine optische Wahrnehmung des anonymen Zeugen) zu kompensieren. Der verdeckte Ermittler hätte durch ein Gericht befragt werden müssen, und zwar ohne optische Abschirmung. Indem die Vorinstanz namentlich auf die nicht verwertbaren Aussagen des verdeckten Ermittlers abstelle, habe sie den Sachverhalt aktenwidrig und willkürlich festgestellt, sich über entlastende Indizien hinweggesetzt und den Grundsatz "in dubio pro reo" verletzt.
6.1. Die Vorinstanz erwägt, aus <ref-ruling> lasse sich nicht ableiten, dass die Einvernahme des anonymen Zeugen zwangsläufig durch ein Gericht zu erfolgen habe. Massgebend für die Verwendung von Aussagen, die im Vorverfahren gemacht worden seien, sei, dass die Rechte der Verteidigung respektiert worden seien. Dazu sei eine einmalige Gelegenheit zur Ausübung des Fragerechts genügend, wenn die Befragung tatsächlich wirksam habe ausgeübt werden können (unter Hinweis auf <ref-ruling> E. 6b S. 132 sowie Urteile 6B_369/2013 vom 31. Oktober 2013 E. 2.3.2 und 6B_183/2013 vom 10. Juni 2013 E. 1.5). Das Gericht habe sich (in jedem Fall) zu überzeugen, dass die Identität des anonymen Zeugen feststehe und ausgeschlossen werden könne, dass ein anderer an seiner Stelle Zeugnis ablege. Davon ausgehend kommt die Vorinstanz zum Ergebnis, die Aussagen des verdeckten Ermittlers "C._", "welcher sich hinter einer Milchglasscheibe befand und somit optisch abgeschirmt war", bei seiner Einvernahme am 20. Mai 2015 seien verwertbar.
6.2. In <ref-ruling> hat das Bundesgericht u.a. erwogen, dass nach den Verfahrensgarantien von Art. 6 Ziff. 1 i.V.m. Ziff. 3 lit. d EMRK die Identität eines Belastungszeugen grundsätzlich offenzulegen ist. Ist zur Wahrung schutzwürdiger Interessen erforderlich, dass der Zeuge anonym bleibt, wie etwa bei verdeckten Ermittlern, und wird dementsprechend bei der Befragung sichergestellt, dass er weder optisch noch an seiner Stimme erkannt werden kann (indirekte Konfrontation), muss das Gericht die dadurch bewirkte Einschränkung der Verteidigungsrechte möglichst kompensieren. "Es hat sich namentlich davon zu überzeugen, dass die Identität des Zeugen feststeht und ausgeschlossen werden kann, dass ein anderer an seiner Stelle Zeugnis ablegt" (E. 3.1). "Zu Recht wird in der Literatur (...) darauf hingewiesen, dass es dem Gericht obliegt, die Beweiswürdigung vorzunehmen und mithin die Verlässlichkeit von Zeugenaussagen zu beurteilen, weshalb es in erster Linie für dieses wichtig ist, den Zeugen unmittelbar optisch wahrzunehmen, während diesem Aspekt für die Verteidigung nicht die gleiche Bedeutung zukommt" (E. 3.2 in fine). Eine anonymisierte Aussage ist in jedem Fall nur statthaft, "wenn der Zeuge durch das Gericht selber befragt wird, seine Identität und allgemeine Glaubwürdigkeit durch das Gericht einer Überprüfung unterzogen wird und der Verteidiger sowie der Angeklagte unter optischer und akustischer Abschirmung dem Zeugen Fragen stellen können" (E. 4.3).
<ref-ruling> ist für die hier interessierende Frage, ob bei verdeckten Ermittlerinnen und Ermittlern auf die Voruntersuchung abgestellt werden kann oder ob sie zwingend durch das Gericht anzuhören sind, nicht einschlägig. Auszugehen ist vom Gedanken der Kompensation der Beschneidung der Verteidigungsrechte des Beschuldigten, der lediglich ein Recht auf indirekte Konfrontation mit solchen Personen hat. Verdeckte Ermittlung (als eine Zwangsmassnahme; <ref-ruling> E. 2.2 S. 307) hat zum Ziel, besonders schwere Straftaten aufzuklären (Art. 285a StPO; zur Abgrenzung von der verdeckten Fahndung [Art. 298a ff. StPO] <ref-ruling> E. 2.4 S. 31). Damit verbunden ist die Gefahr der unzulässigen Einwirkung der verdeckt ermittelnden Person, indem sie beim Tatverdächtigen (Art. 286 Abs. 1 lit. a StPO) eine allgemeine Tatbereitschaft weckt oder die Tatbereitschaft auf schwerere Straftaten lenkt, oder wenn ihre Tätigkeit für den Entschluss zu einer konkreten Straftat nicht mehr bloss von untergeordneter Bedeutung ist (Art. 293 Abs. 1 und 2 StPO; vgl. Niklaus Oberholzer, Grundzüge des Strafprozessrechts, 3. Aufl. 2012, Rz. 1250 ff.). Die Aussagen der verdeckten Ermittlerinnen und Ermittler sind somit nicht nur für die Frage der Strafbarkeit des oder der Beschuldigten bedeutsam, sondern es geht gleichzeitig auch darum, ob sie bei ihrer Tätigkeit das Mass des Zulässigen überschritten haben und welche Rechtsfolgen (nach Art. 293 Abs. 4 StPO oder Art. 141 Abs. 1 StPO) sich daraus ergeben, worüber das Sachgericht zu befinden hat (<ref-ruling> E. 2.4 S. 309 f. mit Hinweis). Die Glaubhaftigkeit der Aussagen der Person, die verdeckt ermittelt hat und anonym bleiben darf, steht gleichsam auf dem Prüfstand (vgl. <ref-ruling> E. 3.4.4 S. 320 oben). Daraus ergibt sich ein unbedingter Anspruch des oder der Beschuldigten darauf, verdeckte Ermittlerinnen oder Ermittler (als Auskunftspersonen oder Zeuginnen oder Zeugen; Art. 288 Abs. 2 StPO) durch ein Gericht im Rahmen einer indirekten Konfrontation befragen zu lassen (vgl. Urteil 1P.277/1997 vom 2. Dezember 1998 E. 4, nicht publ. in: <ref-ruling>, unter Hinweis auf das Unmittelbarkeitsprinzip).
6.3. Die Vorinstanz hätte somit zwingend den verdeckten Ermittler "C._" selber befragen und seine Identität sowie die Glaubhaftigkeit seiner Aussagen überprüfen müssen. Ihre Beweiswürdigung betreffend die Heroineinfuhr vom 17. Oktober 2014 im Sinne der Anklage (E. 3), welche wesentlich auf dessen Einvernahme vom 20. Mai 2015 durch die Staatsanwaltschaft im Rahmen einer indirekten Konfrontation mit dem Beschwerdeführer sowie den (entsprechenden) Aufzeichnungen im schriftlichen Einsatzbericht abstellt, muss daher als willkürlich bezeichnet werden (E. 2.1).
7.
Die Beschwerde ist teilweise gutzuheissen, der angefochtene Entscheid aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Im Übrigen ist die Beschwerde abzuweisen, soweit darauf eingetreten wird. Die Vorinstanz wird im Rahmen der Rückweisung den verdeckten Ermittler im Rahmen einer indirekten Konfrontation mit dem Beschwerdeführer befragen, danach die Beweise neu würdigen und über die ihm zur Last gelegte Tat erneut entscheiden.
8.
Dem Beschwerdeführer sind im Umfang seines Unterliegens keine Gerichtskosten aufzuerlegen (Art. 66 Abs. 1 Satz 2 BGG). Er hat Anspruch auf eine reduzierte Parteientschädigung zu Lasten des Kantons Zürich (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in Strafsachen wird teilweise gutgeheissen. Das Urteil des Obergerichts des Kantons Zürich, I. Strafkammer, vom 16. März 2017 wird aufgehoben und die Sache zu neuer Entscheidung an dieses zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf eingetreten wird.
2.
Der Beschwerdeführer trägt die Gerichtskosten von Fr. 1'500.--.
3.
Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 1. Mai 2018
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Fessler