Sachverhalt:
A.
A.a. Nach einem ersten Beratungsvertrag vom 16. Dezember 2009 schlossen A.A._, seine Ehefrau sowie die B._ GmbH auf der einen Seite und die C._ AG mit Sitz in D._, handelnd durch X._, Verwaltungsrat mit Einzelunterschrift, auf der anderen Seite am 16. August 2010 einen zweiten solchen Vertrag ab. Am 18. Oktober 2010 übergaben die Eheleute A._ X._ einen Inhaberschuldbrief über Fr. 200'000.-- im 3. Rang, lastend auf ihrer Wohnliegenschaft in E._. Am 6. Dezember 2010 wurde über die B._ GmbH der Konkurs eröffnet. Mit Schreiben vom 2. Februar 2011 kündigte A.A._ den Beratungsvertrag, wobei er eine Rechnungsstellung und die sofortige Rückgabe des Inhaberschuldbriefes verlangte. Im März 2011 verkauften die Eheleute A._ ihre Wohnliegenschaft. Im Rahmen dieses Rechtsgeschäfts wurde der C._ AG bzw. X._ gestützt auf eine Vereinbarung, worin sich die Parteien als "per Saldo aller gegenseitigen Ansprüche auseinandersetzt" erklärten, die Summe von Fr. 150'000.-- ausbezahlt.
A.b. Am 1. Juni 2011 reichte A.A._ Strafanzeige gegen X._ ein. Am 31. März 2014 erhob die Staatsanwaltschaft des Kantons Zug Anklage gegen Letzteren u.a. wegen ungetreuer Geschäftsbesorgung, Erpressung und mehrfacher Nötigung. Mit Urteil vom 12. Januar 2015 sprach der Einzelrichter am Strafgericht des Kantons Zug X._ der Erpressung gemäss Art. 156 Ziff. 1 StGB und der Nötigung gemäss Art. 181 StGB schuldig und bestrafte ihn mit einer Geldstrafe von 180 Tagessätzen zu Fr. 250.-, unter Gewährung des bedingten Vollzugs für eine Probezeit von zwei Jahren, sowie zu einer Busse von Fr. 5'000.-, im Falle eines schuldhaften Nichtbezahlens ersatzweise mit einer Freiheitsstrafe von 20 Tagen (Dispositiv-Ziffer 3 und 4). Auf die Anklage in Bezug auf den Tatvorwurf des Betrugs sowie den Eventualtatvorwurf der Veruntreuung wurde nicht eingetreten (Dispositiv-Ziffer 1); vom Tatvorwurf der ungetreuen Geschäftsbesorgung gemäss Art. 158 Ziff. 1 StGB sowie vom Eventualtatvorwurf der ungetreuen Geschäftsbesorgung gemäss Art. 158 Ziff. 2 StGB wurde der Beschuldigte freigesprochen (Dispositiv-Ziffer 2). Gegen das Urteil des Einzelrichters am Strafgericht des Kantons Zug legte X._ Berufung ein. Die Staatsanwaltschaft und A.A._ erhoben je Anschlussberufung.
B.
Mit Urteil vom 29. September 2016 erkannte die Strafabteilung des Obergerichts des Kantons Zug Folgendes:
1. Es wird festgestellt, dass das Urteil des Einzelrichters am Strafgericht des Kantons Zug vom 12. Januar 2015 bezüglich Dispositivzifffer 1 (...) sowie betreffend den Eventualvorwurf der Veruntreuung (...) in Rechtskraft erwachsen ist.
2.1 Die Berufung des Beschuldigten wird (in den Hauptpunkten) abgewiesen.
2.2 Die Anschlussberufung der Staatsanwaltschaft wird teilweise gutgeheissen.
2.3 Die Anschlussberufung des Privatklägers wird abgewiesen, soweit darauf einzutreten ist.
3. Der Beschuldigte wird freigesprochen vom Tatvorwurf der ungetreuen Geschäftsbesorgung gemäss Art. 158 Ziff. 1 StGB sowie vom Eventualvorwurf der ungetreuen Geschäftsbesorgung gemäss Art. 158 Ziff. 2 StGB.
4. Der Beschuldigte wird schuldig gesprochen
4.1 der Erpressung gemäss Art. 156 Ziff. 1 StGB;
4.2 der Nötigung gemäss Art. 181 StGB.
5. Er wird dafür bestraft
5.1 mit einer Geldstrafe von 280 Tagessätzen zu CHF 250.00, unter Gewährung des bedingten Strafvollzugs für eine Probezeit von zwei Jahren;
5.2 mit einer Busse von CHF 5'000.00; bezahlt der Beschuldigte die Busse schuldhaft nicht, so tritt an deren Stelle eine Ersatzfreiheitsstrafe von 20 Tagen.
6. Die Zivilforderung des Privatklägers wird dem Grundsatz nach teilweise gutgeheissen. Es wird festgestellt, dass der Beschuldigte dem Privatkläger einen Betrag von CHF 75'000.00 nebst Zins zu 5% seit dem 25. März 2011 zu bezahlen hat, vorbehältlich der Verrechnung mit der noch nicht bezifferten Gegenforderung.
7.-10. (...).
C.
Mit Beschwerde in Strafsachen beantragt X._ zur Hauptsache, das Urteil vom 29. September 2016 sei aufzuheben; er sei vom Tatvorwurf der Erpressung und der Nötigung von Schuld und Strafe freizusprechen; die Zivilforderung des Privatklägers sei gesamthaft auf den Zivilrechtsweg zu verweisen, allenfalls abzuweisen; eventualiter sei die Angelegenheit zur Neubeurteilung an das Obergericht des Kantons Zug zurückzuweisen.
Die Staatsanwaltschaft des Kantons Zug hat auf Vernehmlassung verzichtet. A.A._ hat sich vernehmen lassen mit dem Antrag, die Beschwerde sei abzuweisen. Das Obergericht des Kantons Zug hat auf eine Stellungnahme verzichtet.

Erwägungen:
1.
Der Beschwerdeführer rügt eine Verletzung des Anklagegrundsatzes (Art. 9 Abs. 1 und Art. 325 Abs. 1 lit. f und g StPO; statt vieler Urteil 6B_959/2013 vom 28. August 2014 E. 3.1). Die vorinstanzlichen Verurteilungen beruhten auf einem richterlich erarbeiteten Sachverhalt, der sich so nicht in der Anklage finde und davon abweiche. Weiter wirft er dem Obergericht vor, den Untersuchungsgrundsatz (Art. 6 StPO) als Ausfluss des rechtlichen Gehörs (Art. 29 Abs. 2 BV) verletzt sowie unbestimmte, aktenwidrige im Sinne von unvollständige Sachverhaltsfeststellungen getroffen zu haben (Art. 97 Abs. 1 und Art. 112 Abs. 1 lit. b BGG). Auf diese Rügen braucht mit Blick auf den Ausgang des Verfahrens nicht eingegangen zu werden.
2.
Aufgrund der Vorbringen in der Beschwerde stellt sich mit Bezug auf die einzig noch zur Diskussion stehenden Straftatbestände der Erpressung nach Art. 156 Ziff. 1 StGB und der Nötigung nach Art. 181 StGB vorab die Frage, ob das Tatbestandsmerkmal der "Androhung ernstlicher Nachteile" gegeben ist.
3.
3.1. Wer in der Absicht, sich oder einen andern unrechtmässig zu bereichern, jemanden durch Gewalt oder Androhung ernstlicher Nachteile zu einem Verhalten bestimmt, wodurch dieser sich selber oder einen andern am Vermögen schädigt, wird mit Freiheitsstrafe bis zu fünf Jahren oder Geldstrafe bestraft (Art. 156 Ziff. 1 StGB).
Wer jemanden durch Gewalt oder Androhung ernstlicher Nachteile oder durch andere Beschränkung seiner Handlungsfreiheit nötigt, etwas zu tun, zu unterlassen oder zu dulden, wird mit Freiheitsstrafe bis zu drei Jahren oder Geldstrafe bestraft (Art. 181 StGB).
3.2. Bei der Androhung ernstlicher Nachteile im Sinne von Art. 156 StGB und Art. 181 StGB stellt der Täter dem Opfer die Zufügung eines Übels in Aussicht, dessen Eintritt er als von seinem Willen abhängig erscheinen lässt. Es kommt dabei nicht darauf an, ob er die Drohung wirklich wahr machen will, sofern sie nur als ernst gemeint erscheinen soll. Ernstlich sind die Nachteile, wenn ihre Androhung nach einem objektiven Massstab geeignet ist, auch eine besonnene Person in der Lage des Betroffenen gefügig zu machen und so seine freie Willensbildung und -betätigung zu beschränken (<ref-ruling> E. 1a S. 324; Urteile 6B_275/2016 vom 9. Dezember 2016 E. 4.2.1 und 6S.8/2006 vom 12. Juni 2006 E. 4.2, je mit Hinweisen). Besteht das "angedrohte" Verhalten in einer rechtmässigen Unterlassung, setzt ein tatbestandsmässiger Nachteil im Sinne von Art. 156 und Art. 181 StGB voraus, dass sich dadurch die Lage des "Bedrohten" verschlechtern würde, gemessen an den rechtlichen Ansprüchen oder tatsächlichen Aussichten, die er im Zeitpunkt der Drohung hat (Urteile 6B_1143/2013 vom 22. Mai 2014 E. 3.4 und 6B_402/2008 vom 6. November 2008 E. 2.4.2.4 mit Hinweis auf die Lehre).
4.
Das Obergericht erwägt, in tatsächlicher Hinsicht stehe fest, dass sich der Beschuldigte mit dem Privatkläger und seiner Ehefrau nicht einvernehmlich über die Höhe seines Honorars im Zusammenhang mit dem Beratungsmandat gemäss Vertrag vom 16. August 2010 geeinigt habe. Seine Ankündigung, die Herausgabe des ihm am 18. Oktober 2010 ausgehändigten Inhaberschuldbriefes über Fr. 200'000.-- im 3. Rang, lastend auf ihrer Wohnliegenschaft, zu unterlassen, falls sie ihm nicht die Bezahlung von Fr. 150'000.-- zusicherten, sei daher als tatbestandsmässige "Androhung eines ernstlichen Nachteils" im Sinne von Art. 156 Ziff. 1 StGB zu qualifizieren. Im Weiteren sei dem Beschuldigten zu entgegnen, dass bei der Beurteilung, ob die angedrohten Nachteile ernstlich sind, nicht (nur) auf einen objektiven Massstab abzustellen sei; vielmehr seien auch subjektive Elemente zu berücksichtigen. Da der Privatkläger aufgrund der ihm zur Verfügung stehenden Informationen durch seinen Rechtsanwalt und den Notar durchaus davon habe ausgehen dürfen, der Grundstücksverkauf sei ohne den fraglichen Inhaberschuldbrief gefährdet, sei dessen vom Beschuldigten in Aussicht gestellte Nichtherausgabe als Androhung eines ernstlichen Nachteils zu qualifizieren. Dasselbe gelte mit Bezug auf die Ankündigung, den Inhaberschuldbrief nur herauszugeben, wenn der Privatkläger und seine Ehefrau die "Per-Saldo-Vereinbarung" unterzeichneten. Durch die fortdauernde Weigerung des Beschuldigten, ihnen den Inhaberschuldbrief auszuhändigen, hätten sie sich genötigt gesehen, seine unangemessene Honorarforderung gar "anzuerkennen".
5.
5.1. Der Beschwerdeführer rügt, es widerspreche der bundesgerichtlichen Rechtsprechung (wonach das nötigende Verhalten nach einem objektiven Massstab geeignet sein muss, auch eine besonnene Person in der Lage des Betroffenen gefügig zu machen; E. 3.2), im Rahmen von Art. 156 Ziff. 1 und Art. 181 StGB subjektive Elemente zu berücksichtigen, wenn zu beurteilen sei, ob ein (angedrohter) Nachteil ernstlich ist. Wäre auch ein subjektiver Massstab massgeblich, würde der Tatbestand der Erpressung und der Nötigung ins Uferlose ausgedehnt. Die Frage braucht hier nicht vertieft geprüft zu werden. Jedenfalls leuchtet nicht ein und das Obergericht legt auch nicht näher dar, inwiefern der Privatkläger oder ein besonnener Dritter in seiner Lage "aufgrund der ihm zur Verfügung stehenden Informationen durch seinen Rechtsanwalt und den Notar" davon ausgehen durfte bzw. musste, das Grundstückgeschäft wäre ohne den physischen Besitz des Inhaberschuldbriefs gefährdet gewesen.
5.2. Weiter geht das Obergericht wie schon der Einzelrichter am Strafgericht davon aus, dass der am 18. Oktober 2010 ausgehändigte Inhaberschuldbrief der Sicherung des Honorars für die Tätigkeit des Beschwerdeführers bzw. der C._ AG für den Privatkläger und dessen Ehefrau sowie ihre am 6. Dezember 2010 Konkurs gegangene GmbH diente. Als rechtmässiger Besitzer hatte er somit nach Art. 895 Abs. 1 ZGB ein dingliches Retentionsrecht an diesem Wertpapier (vgl. <ref-ruling> E. 3 S. 326 ff. auch zum obligatorischen Retentionsrecht und zum Leistungsverweigerungsrecht bei zweiseitigen Verträgen nach Art. 82 OR). Entgegen der Annahme des Obergerichts stand der Ausübung dieses Rechts nicht die fehlende Fälligkeit der Honorarforderung entgegen. Nach Art. 75 OR gilt bei fehlender diesbezüglicher Vereinbarung die Vermutung der sofortigen Fälligkeit im Zeitpunkt des Vertragsschlusses (<ref-ruling> E. 3.2.1 S. 541). Gemäss Beratungsvertrag vom 16. August 2010 wurden alle Honorare bei Beendigung des Mandats, somit mit der Kündigung des Vertrags am 2. Februar 2011 zur Zahlung fällig. Das dem Beschwerdeführer strafrechtlich zur Last gelegte Verhalten betrifft die Zeit danach.
5.3. Das Retentionsrecht bewirkt, dass der berechtigte Gläubiger die Rückgabe der Pfandsache (lediglich) anzubieten hat, während der Eigentümer und Schuldner die Forderung gegen ihn zu erfüllen oder hinreichende Sicherheit hierfür zu leisten hat, worüber im Streitfall das Gericht entscheidet (Art. 898 Abs. 1 ZGB; Urteil 4C.464/1994 vom 18. Oktober 1995 E. 4b mit Hinweis auf die Lehre, in: Rep 1995 S. 92; vgl. auch <ref-ruling> E. 3.2.1 S. 541). Es besteht ungeachtet der finanziellen und persönlichen Situation, in welcher sich der Pfandeigentümer im Zeitpunkt der Rechtsausübung befindet. In diese selbe Rechtslage haben sich vorliegend der Privatkläger und seine Ehefrau gebracht durch die (bedingungslose) Übergabe des Inhaberschuldbriefes zur Sicherung der Honoraransprüche aus dem Beratungsvertrag vom 16. August 2010, wie der Beschwerdeführer vorbringt. Ob unter diesen Umständen ihre Willens (bildungs- und -betätigungs) freiheit im Zusammenhang mit Rechtsgeschäften, welche die damit belastete Liegenschaft betrafen, durch die Weigerung, das Wertpapier zurückzugeben, bevor seine Honorarforderung beglichen oder hinreichend sichergestellt war, (noch weiter) eingeschränkt werden konnte, ist zumindest fraglich.
So oder anders erscheint es, objektiv betrachtet, ohnehin nicht nachvollziehbar, dass der Privatkläger und seine Ehefrau als besonnene, anwaltlich beratene Personen in die Bezahlung eines Mehrfachen des nach ihrer Auffassung Geschuldeten einwilligten. Nach Feststellung des Obergerichts war die geltend gemachte Summe von Fr. 150'000.-- gut fünfmal höher verglichen mit dem Honorar im Rahmen des ersten Beratungsvertrages vom 16. Dezember 2009. Dies gilt umso mehr, als zivilrechtlich die Abgabe einer bestimmten Erklärung nur zum Schein, d.h. unter dem geheimen Vorbehalt, sie solle nicht gültig sein (sog. Mentalreservation), so gilt, wie sie der Empfänger nach Treu und Glauben verstehen durfte (Urteil 5C.202/2006 vom 16. Februar 2007 E. 4.4.2 mit Hinweis auf die Lehre, in: ZBGR 89/2008 S. 352; vgl. auch <ref-ruling> E. 2c S. 123). Das blosse Ausnützen einer Zwangslage fällt im Übrigen nicht unter Art. 156 Ziff. 1 und Art. 181 StGB (Urteil 6S.8/2006 vom 12. Juni 2006 E. 8.2).
Schliesslich kann nicht gesagt werden, gemessen am fehlenden Anspruch auf Herausgabe des Inhaberschuldbriefs bis zur Begleichung der Honorarforderung oder deren hinreichende Sicherstellung habe sich die Lage des Privatklägers und seiner Ehefrau aufgrund des Verhaltens des Beschwerdeführers in strafrechtlich relevanter Weise verschlechtert. In diesem Zusammenhang erwägt das Obergericht - zu Recht - nicht, die Liegenschaft hätte aus rechtlichen Gründen nicht verkauft werden können, ohne dass die Verkäufer im Besitz des Inhaberschuldbriefes gewesen wären. Tatsächlich wurden denn auch Verpflichtungsgeschäft (Kaufvertrag) und Verfügungsgeschäft (Grundbucheintrag) abgewickelt, als das Wertpapier noch beim Beschwerdeführer war. Inwiefern das Grundstückgeschäft anderweitig gefährdet gewesen sein konnte dadurch, dass der Privatkläger nicht im Besitz des Inhaberschuldbriefes war, sagt das Obergericht im Übrigen nicht. Ein tatbestandsmässiger Nachteil im Sinne von Art. 156 Ziff. 1 bzw. Art. 181 StGB ist somit zu verneinen.
5.4. Nach dem Gesagten entfällt eine Strafbarkeit des Beschwerdeführers nach Art. 156 Ziff. 1 und Art. 181 StGB wegen fehlender objektiver Tatbestandsmässigkeit des ihm vorgeworfenen Verhaltens. Die Beschwerde ist im Strafpunkt begründet.
6.
6.1. Das Obergericht heisst die Zivilklage des Privatklägers über Fr. 150'000.-- gestützt auf Art. 41 Abs. 1 OR in der Höhe von Fr. 75'000.-- (nebst Zins zu 5 % seit dem 25. März 2011) dem Grundsatz nach teilweise gut, verweist sie im Übrigen mit Bezug auf die Einrede der Verrechnung mit der noch nicht bezifferten Gegenforderung aus dem Beratungsvertrag vom 16. August 2010 auf den Zivilweg (Art. 126 Abs. 1 lit. a und Abs. 3 StPO). Das Bestehen der Forderung begründet es damit, der Beschuldigte habe die Anerkennung der Zahlungsverpflichtung über Fr. 150'000.-- und den Verzicht auf den entsprechenden Kaufpreisanteil dem Privatkläger und seiner Ehefrau widerrechtlich abgenötigt; den hieraus entstandenen Schaden habe er daher diesem nach Massgabe seines Miteigentumsanteils von 50 % an der verkauften Liegenschaft zu bezahlen.
6.2. Spricht das Gericht die beschuldigte Person frei, entscheidet es über die anhängig gemachte Zivilklage, wenn der Sachverhalt spruchreif ist (Art. 126 Abs. 1 lit. b StPO). Aufgrund des Freispruchs fällt Art. 41 Abs. 1 OR als Anspruchsgrundlage der Zivilforderung des Privatklägers grundsätzlich ausser Betracht. Es kommt dazu, dass in Bezug auf seine Verrechnungseinrede der Sachverhalt nicht spruchreif ist. Der Privatkläger ist daher mit seiner Zivilklage, wie vom Beschwerdeführer beantragt, auf den Zivilweg zu verweisen.
7.
Die Beschwerde ist begründet. Der obsiegende Beschwerdeführer hat keine Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG); zudem hat er Anspruch auf eine Parteientschädigung zu Lasten des Kantons Zug (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in Strafsachen wird gutgeheissen. Das Urteil des Obergerichts des Kantons Zug vom 29. September 2016 wird - mit Ausnahme der Dispositiv-Ziffern 1, 2.3, und 3 - aufgehoben. Der Beschwerdeführer wird vom Vorwurf der Erpressung nach Art. 156 Ziff. 1 StGB und der Nötigung nach Art. 181 StGB freigesprochen. Die Zivilklage des Beschwerdegegners wird auf den Zivilweg verwiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Zug hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Gerichtskosten und der Parteientschädigung für das erst- und zweitinstanzliche Verfahren an das Obergericht des Kantons Zug zurückgewiesen.
5.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, Strafabteilung, schriftlich mitgeteilt.
Lausanne, 12. Juni 2017
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Fessler