Sachverhalt:
A.
Mit Verfügung vom 12. April 2006 sprach die IV-Stelle des Kantons St. Gallen A._ eine ganze Invalidenrente ab 1. Mai 2005 samt einer Kinderrente zu. Im März 2009 leitete die IV-Stelle ein Revisionsverfahren ein. Mit Urteil des Kantonsgerichts St. Gallen, Strafkammer, vom 13. September 2011 wurde A._ bezüglich des Vorwurfs des unrechtmässigen Bezugs einer Invalidenrente des Betrugsversuchs schuldig gesprochen und zu einer Geldstrafe verurteilt. U.a. gestützt darauf und auf das Gutachten des Dr. med. B._, Facharzt für Psychiatrie und Psychotherapie, vom 9. Oktober 2013 hob die IV-Stelle mit Verfügung vom 29. November 2013 die Verfügung vom 12. April 2006 auf und stellte fest, es bestehe kein Rentenanspruch.
B.
Die Beschwerde des A._ wies das Versicherungsgericht des Kantons St. Gallen nach zweifachem Schriftenwechsel mit Entscheid vom 28. September 2016 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, der Entscheid vom 28. September 2016 und die Verfügung vom 29. November 2014 seien aufzuheben, und es sei festzustellen, dass er seit dem 1. Mai 2005 Anspruch auf eine Invalidenrente habe; eventualiter sei die Sache zur Neubeurteilung nach Einholung eines Obergutachtens an die Vorinstanz zurückzuweisen, unter Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle ersucht um Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Der Beschwerdeführer hat ein nach Erlass des angefochtenen Entscheids verfasstes Schreiben vom 26. Oktober 2016 der ihn behandelnden Psychiaterin und Psychotherapeutin an seinen Rechtsvertreter eingereicht. Dabei handelt es sich um ein echtes Novum, das ausser Betracht zu bleiben hat (<ref-law>; <ref-ruling> E. 3.2.2.2 S. 548).
2.
Streitgegenstand bildet die Frage, ob das kantonale Versicherungsgericht zu Recht die auf <ref-law> gestützte prozessual revisionsweise Aufhebung der Verfügung vom 12. April 2006 bestätigt hat, womit dem Beschwerdeführer rückwirkend ab 1. Mai 2005 eine ganze Rente der Invalidenversicherung zugesprochen worden war. Dabei besteht gemäss Vorinstanz die erhebliche neue Tatsache im Sinne dieser Bestimmung (vgl. dazu etwa Urteil 8C_349/2014 vom 18. August 2014 E. 3) in der - im Strafverfahren rechtskräftig festgestellten - arglistigen Täuschung der Ärzte durch den Versicherten über seine tatsächliche Arbeitsfähigkeit als... durch Verschweigen der... im Zeitraum vom Mai 2005 bis Mai 2009. Das ist - zu Recht - unbestritten (vgl. auch Urteil 9C_690/2011 vom 20. Dezember 2011 E. 4).
3.
Der Beschwerdeführer bringt sinngemäss vor, aufgrund der Akten könne die Frage, ob im Zeitpunkt der aufgehobenen Verfügung vom 12. April 2006 und auch danach eine den Anspruch auf eine Rente ausschliessende Arbeitsfähigkeit bestanden habe, nicht mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit bejaht werden. Die Beweislast dafür liege bei der Beschwerdegegnerin. Das psychiatrische Gutachten vom 9. Oktober 2013 sei insoweit nicht beweiskräftig, darauf könne nicht abgestellt werden. Die von der Vorinstanz abgelehnte Anordnung eines Obergutachtens verletze seinen Anspruch auf rechtliches Gehör.
3.1. Mit seiner Rüge betreffend die Beweislastverteilung in Bezug auf die der Invaliditätsbemessung durch Einkommensvergleich (<ref-law> i.V.m. <ref-law>) zugrunde zu legende Arbeitsfähigkeit verkennt der Beschwerdeführer, dass nach der Rechtsprechung im (prozessualen) Revisionsverfahren der Gesuchsteller, d.h. hier die Beschwerdegegnerin, die erhebliche neue Tatsache nachzuweisen hat (<ref-ruling> E. 5b S. 358; Urteil 8C_291/2015 vom 12. Juni 2015 E. 3.2). Diese Voraussetzung ist vorliegend fraglos erfüllt (vgl. E. 2 hiervor). Darüber hinaus gilt grundsätzlich <ref-law>, wonach derjenige das Vorhandensein einer behaupteten Tatsache zu beweisen hat, der aus ihr Rechte ableitet.
3.2. Die zu entscheidende Frage lautet, wie mit überwiegender Wahrscheinlichkeit im ursprünglichen Verfahren die Beurteilung von Gesundheitszustand und Arbeitsfähigkeit ausgefallen wäre, wenn den damals mit dem Beschwerdeführer befassten Ärzten die zur prozessual revisionsweisen Neuprüfung der Rente mit Wirkung ex tunc Anlass gebende Tatsache bekannt gewesen wäre. Gemäss Vorinstanz bestand aufgrund des beweiskräftigen Gutachtens vom 9. Oktober 2013 zu keinem Zeitpunkt bis zur angefochtenen Verfügung vom 29. November 2013 eine psychiatrische Diagnose mit Krankheitswert. Sowohl im erlernten Beruf, als auch als... sei von voller Arbeitsfähigkeit auszugehen. In seinen Erwägungen hat sich das kantonale Versicherungsgericht einlässlich mit dem Umstand auseinandergesetzt, dass alle behandelnden Ärzte psychiatrische Diagnosen stellten und die Arbeitsfähigkeit ganz oder teilweise als eingeschränkt erachteten. Ebenfalls hat es Stellung genommen zu den verschiedenen Einwendungen gegen den Beweiswert der Expertise (vgl. dazu <ref-ruling> E. 5.1 S. 232). Der Beschwerdeführer bestreitet die betreffenden Feststellungen und die daraus gezogenen rechtlichen Schlussfolgerungen. Seine Vorbringen sind indessen entweder appellatorischer Natur und damit von vornherein unbeachtlich (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG; <ref-ruling> E. 5.1 S. 356), oder sie vermögen nicht aufzuzeigen, inwiefern die Expertise mit Bezug auf die Beurteilung von Gesundheitszustand (Befund und Diagnose) und Arbeitsfähigkeit nicht nachvollziehbar und schlüssig ist.
3.3. Nichts zu Gunsten des Beschwerdeführers ergibt sich sodann aus dem von ihm mehrfach erwähnten Bericht des Dr. med. C._ vom 19. März 2005 zuhanden des Krankentaggeldversicherers.
3.3.1. Die Vorinstanz hat in E. 8.2 des angefochtenen Entscheids erwogen, die Stichhaltigkeit des Ergebnisses der gutachterlichen Feststellung einer vollen Arbeitsfähigkeit werde durch die vertrauensärztliche Beurteilung des Dr. med. C._ vom 19. März 2005 gestützt. Dieser Facharzt habe zwar im Unterschied zum Gutachten vom 9. Oktober 2013 psychische Leiden mit Einfluss auf die Arbeitsfähigkeit diagnostiziert, eine angepasste Tätigkeit jedoch als voll zumutbar erachtet, was dem Patienten - wohl infolge der zuerst erforderlichen Stellensuche - auf Ende Mai 2005 hin anzukündigen sei. Diese Feststellungen bedürfen der Ergänzung. Dr. med. C._ hielt fest, im zuletzt ausgeübten Beruf als... müsse der Beschwerdeführer als voll arbeitsunfähig betrachtet werden. In einer anderen eher manuellen Tätigkeit, zum Beispiel als Sanitärinstallateur, dürfe er trotz Störungen auf der Beziehungsebene und Angst halbtags mit voller Leistung eingesetzt werden. Weiter führte der Psychiater aus, der behandelnde Arzt sollte in der kommenden Zeit den Patienten darauf vorbereiten, und ihm auch in Aussicht stellen, dass per Ende Mai 2005 eine volle Arbeitsfähigkeit zugemutet werden könne. Gleichzeitig bezeichnete er indessen die Prognose als völlig ungewiss. Wie der Patient darauf psychisch reagieren werde, sei bei dieser immer noch instabilen Persönlichkeit schwer vorauszusehen. Auch unter Berücksichtigung dieser Unklarheit wäre von einer Arbeitsfähigkeit von wenigstens 50 % in angepassten Tätigkeiten, wie im erlernten Beruf, auszugehen, was der Beschwerdeführer nicht bestreitet.
3.3.2. Die Beschwerdegegnerin ermittelte in der Verfügung vom 29. November 2013 auf der Grundlage einer Arbeitsfähigkeit von 50 % als Sanitärinstallateur sowie des höchsten gemäss IK-Auszug je erzielten Einkommens einen nicht anspruchsbegründenden Invaliditätsgrad vom 35 % ([[Fr. 50'000.- - Fr. 32'500.-]/Fr. 50'000.-] x 100 %; <ref-law>). Der Beschwerdeführer legt, wie schon im vorinstanzlichen Verfahren, nicht dar, inwiefern diese Invaliditätsbemessung Bundesrecht verletzt (<ref-law>).
3.4. Die Beschwerde ist unbegründet.
4.
Ausgangsgemäss wird der Beschwerdeführer grundsätzlich kostenpflichtig (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 Abs. 1 und 2 BGG; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach er der Gerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Daniel Speck wird als unentgeltlicher Rechtsbeistand bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes einstweilen auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. April 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Fessler