Sachverhalt:
A. Der 1964 geborene M._ meldete sich im März 2002 bei der Invalidenversicherung an und beantragte eine Rente. Nach Abklärungen sprach ihm die IV-Stelle des Kantons St. Gallen mit Verfügungen vom 15. Mai 2003 ab 1. April 2001 auf Grund eines Invaliditätsgrades von 100 % eine ganze Rente samt Zusatzrente für die Ehefrau und drei Kinderrenten zu. Am ... wurde die Ehe des M._ geschieden, was eine Neuberechnung der Rente zur Folge hatte. Im Rahmen des im Dezember 2004 eingeleiteten Revisionsverfahrens wurde M._ vom 11. bis 15. Dezember 2006 im Zentrum für Medizinische Begutachtung (ZMB) interdisziplinär abgeklärt. Nach Einholung der Stellungnahme des Regionalen Ärztlichen Dienstes zum Gutachten vom 30. Januar 2007 und nach Durchführung des Vorbescheidverfahrens hob die IV-Stelle mit Verfügung vom 12. Mai 2007 die Rente auf Ende des der Zustellung des Entscheids folgenden Monats auf.
B. Die Beschwerde des M._ wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 31. Oktober 2008 ab, soweit darauf eingetreten wurde.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der Entscheid vom 31. Oktober 2008 sei aufzuheben und ihm weiterhin eine ganze Rente zuzusprechen, eventualiter die Sache zur Durchführung eines multidisziplinären Gutachtens an die Vorinstanz zurückzuweisen, unter Gewährung der unentgeltlichen Rechtspflege.
Das kantonale Versicherungsgericht beantragt die Abweisung der Beschwerde. IV-Stelle und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
D. Im Rahmen eines zweiten Schriftenwechsels haben die Parteien und die Vorinstanz zur Frage der zweifellosen Unrichtigkeit der Rentenzusprechung vom 15. Mai 2003 Stellung genommen.

Erwägungen:
1. 1.1 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (Art. 17 Abs. 1 ATSG). Anlass zur Rentenrevision gibt somit jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen (<ref-ruling> E. 3.5 S. 349; Urteil U 35/07 vom 28. Januar 2008 E. 3).
Zeitliche Vergleichsbasis für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades bilden die letzte rechtskräftige Verfügung oder der letzte rechtskräftige Einspracheentscheid, welche oder welcher auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Invaliditätsbemessung beruht (<ref-ruling>; vgl. auch <ref-ruling> E. 3.2.3 S. 75 ff.; Urteil 9C_562/2008 vom 3. November 2008 E. 2.1).
1.2 Nach Art. 53 Abs. 2 ATSG in Verbindung mit Art. 2 ATSG und Art. 1 Abs. 1 IVG kann die IV-Stelle auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist. Die Wiedererwägung im Sinne dieser Bestimmung dient der Korrektur einer anfänglich unrichtigen Rechtsanwendung einschliesslich unrichtiger Feststellung im Sinne der Würdigung des Sachverhalts (<ref-ruling> E. 2c S. 17 mit Hinweis; Urteil 9C_215/2007 vom 2. Juli 2007 E. 3.1). Die Wiedererwägung ist jederzeit möglich (vgl. Art. 53 Abs. 3 ATSG), insbesondere auch wenn die Voraussetzungen der Revision nach Art. 17 Abs. 1 ATSG nicht erfüllt sind. Wird die zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung erst vom Gericht festgestellt, so kann es die im Revisionsverfahren verfügte Aufhebung der Rente mit dieser substituierten Begründung schützen (<ref-ruling> E. 2 S. 369; Urteil 9C_11/2008 vom 29. April 2008 E. 2 mit Hinweis).
Bei der Wiedererwägung einer formell rechtskräftigen Verfügung oder eines formell rechtskräftigen Einspracheentscheides, sei es im Rahmen der substituierten Begründung bei Gelegenheit eines Revisionsverfahrens nach Art. 17 Abs. 1 ATSG und Art. 87 ff. IVV, sei es sonst von Amtes wegen oder auf Gesuch hin, gilt es, wenn spezifisch invalidenversicherungsrechtliche Aspekte zur Diskussion stehen, mit Wirkung ex nunc et pro futuro einen rechtskonformen Zustand herzustellen (Art. 85 Abs. 2, Art. 88bis Abs. 1 lit. c IVV; <ref-ruling> E. 3 S. 293 ff.; Urteil 9C_215/2007 vom 2. Juli 2007 E. 6.1). Um die Frage nach dem zukünftigen Rentenanspruch prüfen zu können, muss die zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung festgestellt sein. Ist dies der Fall und die Berichtigung von erheblicher Bedeutung, was auf periodische Dauerleistungen regelmässig zutrifft (vgl. <ref-ruling> E. 1c S. 480 mit Hinweisen; Urteil 9C_655/2007 vom 4. Januar 2008 E. 2), sind die Anspruchsberechtigung und allenfalls der Umfang des Anspruchs pro futuro zu prüfen (Urteil 9C_215/2007 vom 2. Juli 2007 E. 6.1). Es ist wie bei einer materiellen Revision nach Art. 17 Abs. 1 ATSG auf der Grundlage eines richtig und vollständig festgestellten Sachverhalts der Invaliditätsgrad im Zeitpunkt der Verfügung oder des Einspracheentscheides zu ermitteln, woraus sich die Anspruchsberechtigung und allenfalls der Umfang des Anspruchs ergeben (Art. 28 Abs. 2 IVG; Urteile 8C_339/2008 vom 11. November 2008 E. 3.3 und 9C_11/2008 vom 29. April 2008 E. 4.2.1).
2. Das kantonale Gericht hat zur revisionsweisen Aufhebung der ganzen Rente des Beschwerdeführers durch die IV-Stelle erwogen, die Frage nach einer erheblichen Tatsachenänderung (hier im Vergleichszeitraum vom 15. Mai 2003 bis 12. Mai 2007) setze voraus, dass der der Rentenzusprechung zu Grunde liegende Sachverhalt mit dem erforderlichen Beweisgrad der überwiegenden Wahrscheinlichkeit ermittelt worden sei. Treffe dies nicht zu, müsse der damalige Sachverhalt berichtigt oder vervollständigt werden, um so die notwendige verlässliche Vergleichsbasis für eine allfällige Rentenrevision zu schaffen. Auf Grund der medizinischen Akten im Zeitpunkt der Rentenzusprechung sei die IV-Stelle von einer Arbeitsunfähigkeit von 100 % für sämtliche Tätigkeiten ausgegangen. Dies sei nicht zu beanstanden, auch wenn zumindest aus rheumatologischer und psychiatrischer Sicht mit einer erheblichen Verbesserung des Gesundheitszustandes habe gerechnet werden können. Die Angaben des psychiatrischen Sachverständigen des ZMB zur gesundheitlichen Situation bis Anfang 2003 vermöchten weder eine psychisch begründete Arbeitsunfähigkeit auszuschliessen noch so starke Zweifel an der Richtigkeit der Einschätzung des Psychiaters der Klinik X._ (Bericht vom 14. November 2001) und des Hausarztes (Bericht vom 19. April 2002) zu wecken, dass die damals angenommene Arbeitsunfähigkeit von 100 % nicht mehr als überwiegend wahrscheinlich qualifiziert werden könnte. Damit liege eine Vergleichsgrundlage vor, die es erlaube, eine allfällige erhebliche nachträgliche Sachverhaltsänderung mit rechtsgenüglicher Sicherheit zu belegen. Eine solche Änderung hat die Vorinstanz mit Bezug auf die Arbeitsfähigkeit aus (rein) rheumatologischer- und kardiologischer Sicht verneint. Nach einer vorübergehenden operativ bedingten Arbeitsunfähigkeit habe in leichten rückenschonenden Tätigkeiten keine Einschränkung mehr bestanden. Dagegen sei auf Grund des ZMB-Gutachtens vom 30. Januar 2007 von einer erheblichen Verbesserung des psychischen Gesundheitszustandes und damit auch der Arbeitsfähigkeit auszugehen. Auch aus psychiatrischer Sicht bestehe nunmehr eine vollständige Arbeitsfähigkeit in den körperlichen Beeinträchtigungen angepassten Tätigkeiten. Mit der Begründung, der Versicherte sei auch in der zuletzt ausgeübten Tätigkeit voll arbeitsfähig, hat das kantonale Gericht durch vereinfachten Einkommensvergleich in der Form eines Prozentvergleichs (vgl. <ref-ruling> E. 2b S. 137; Urteil des Eidg. Versicherungsgerichts I 117/06 vom 23. Mai 2006 E. 4.1) einen jedenfalls unter der anspruchserheblichen Grenze von 40 % (Art. 28 Abs. 2 IVG) liegenden Invaliditätsgrad ermittelt.
3. Der Beschwerdeführer rügt, die Vorinstanz habe den rechtserheblichen Sachverhalt offensichtlich unrichtig und unvollständig festgestellt, was eine Verletzung von Bundesrecht darstelle (Art. 95 lit. a und 97 Abs. 1 BGG; Urteil 9C_442/2008 vom 28. November 2008 E. 1.1 mit Hinweis). In somatischer Hinsicht habe sich der Sachverhalt seit der Rentenzusprechung im Mai 2003 nicht verändert. Es liege diesbezüglich lediglich eine Neueinschätzung der Auswirkungen auf die Arbeitsfähigkeit bei unveränderten Diagnosen vor, was für eine Rentenrevision nicht genüge. Zudem sei die vorinstanzliche Feststellung, die IV-Stelle sei von einer langfristig betrachtet rein rheumatologisch nicht eingeschränkten Arbeitsfähigkeit ausgegangen, aktenwidrig. In psychiatrischer Hinsicht genüge die damalige Datengrundlage nicht, um eine Sachverhaltsänderung mit überwiegender Wahrscheinlichkeit zu beweisen. Die auch von der Vorinstanz als rudimentär bezeichneten medizinischen Unterlagen enthielten insbesondere keine psychiatrische Befunderhebung. Das ZMB-Gutachten sei in diesem Punkt widersprüchlich und darauf könne nicht abgestellt werden. Die Annahme liege nahe, dass die Gutachter einen mehr oder weniger unveränderten psychischen Zustand mit Bezug auf die Diagnosegebung lediglich strenger beurteilten als der Hausarzt, die Klinik X._ und Dr. med. K._. Der Sachverhalt sei zudem unvollständig abgeklärt, da die Schulterbeschwerden und die massiven neuropsychologischen Defizite und deren Auswirkungen auf die Arbeitsfähigkeit nicht beurteilt worden seien. Dies gelte ebenfalls in Bezug auf die Annahme, der Versicherte sei im angestammten Beruf voll arbeitsfähig. Es fehle ein Belastungsprofil.
4. 4.1 Die vorinstanzliche Bejahung eines Revisionsgrundes nach Art. 17 Abs. 1 ATSG beruht auf der Annahme, dass im Zeitpunkt der Zusprechung der ganzen Rente im Mai 2003 ein psychischer Gesundheitsschaden bestand, welcher die Arbeitsfähigkeit erheblich einschränkte oder eine solche sogar ausschloss (Art. 3 und 6 ATSG).
Auf Grund der Akten bestehen indessen erhebliche Zweifel an der Richtigkeit dieser Annahme. Die Berichte der Klinik X._ vom 19. November 2001, des Hausarztes Dr. med. H._ vom 19. April 2002 und auch des Psychiaters und Psychotherapeuten Dr. med. K._ vom 18. Oktober 2007, bei welchem der Beschwerdeführer offenbar von Mai bis September 2002 in Behandlung gestanden war, lassen diesen Schluss nicht zu. Diese Unterlagen genügen - auch in ihrer Gesamtheit - den Anforderungen an den Beweiswert ärztlicher Berichte nicht (vgl. <ref-ruling> E. 3a S. 352), was auch der Beschwerdeführer nicht bestreitet. Die Berichte der Klinik X._ und des Hausarztes enthalten zwar eine Diagnose (Anpassungsstörung bei mehrfacher äusserlicher Lebensgestaltung hauptsächlich mit Angst resp. mit chronisch-depressiver Entwicklung). Die Diagnose wurde jedoch nicht diskutiert. Dies wäre jedoch schon deshalb erforderlich gewesen und hätte allenfalls einer eingehenderen Abklärung gerufen (vgl. E. 4.2), weil im Bericht der Klinik X._ eine deutliche psycho-soziale Belastungssituation erwähnt und während des Aufenthalts mit der Sozialarbeiterin die finanzielle und soziale Situation beleuchtet worden war. Auch Dr. med. K._ wies in seinem Bericht vom 18. Oktober 2007 auf seit längerem bestandene Probleme in der beruflichen Situation und im Privatleben hin. Soziokulturelle und psycho-soziale Faktoren sind aber von mitentscheidender Bedeutung für die Frage, ob ein psychischer Gesundheitsschaden invalidisierenden Charakters vorliegt (SVR 2008 IV Nr. 62 S. 203, 9C_830/2007 E. 4.2 mit Hinweisen). Sodann fehlten eine Anamnese, auf eigenen Beobachtungen in der Untersuchungssituation gestützte Befunde namentlich des Psychiaters der Klinik X._ (vgl. Renato Marelli, Psychiatrie, in: Das ärztliche Gutachten, 4. Aufl. 2003, S. 255 ff.). Ebenfalls wurde im ZMB-Gutachten vom 30. Januar 2007 die Dokumentation in Bezug auf den Zustand 2002 und 2003 als ungenügend bezeichnet. Dementsprechend mass die Vorinstanz zu Recht der Aussage des psychiatrischen Sachverständigen des ZMB, die auf die Diagnose einer Anpassungsstörung gestützte Annahme einer Arbeitsunfähigkeit von 100 % gemäss Bericht der Klinik X._ vom 19. November 2001 lasse sich aus aktueller Sicht nicht nachvollziehen, keine entscheidende Bedeutung zu. Andererseits ist die Feststellung des kantonalen Gerichts, der psychiatrische Sachverständige des ZMB gehe von einer erheblichen Verbesserung des Gesundheitszustandes und damit auch der Arbeitsfähigkeit aus, insofern offensichtlich unrichtig, als im Gutachten lediglich gesagt wurde, der Gesundheitsschaden habe sich in psychiatrischer Hinsicht eher gebessert. Die damals diagnostizierte - aus aktueller Sicht nicht nachvollziehbare - Anpassungsstörung sei heute nicht mehr feststellbar. Auf Grund des Vorstehenden beruht der vorinstanzliche Entscheid in Bezug auf die Frage einer revisionsrechtlich erheblichen Änderung des psychischen Gesundheitszustandes auf einem teils offensichtlich unrichtig, teils unvollständig festgestellten Sachverhalt. Ob von weiteren Abklärungen neue verwertbare Erkenntnisse zu erwarten sind, ist fraglich. Davon kann jedoch abgesehen werden. Ebenso kann offenbleiben, ob die vorinstanzliche Feststellung, die IV-Stelle sei von einer langfristig betrachtet rein rheumatologisch nicht eingeschränkten Arbeitsfähigkeit ausgegangen aktenwidrig sei. Es ist nicht ersichtlich und wird auch nicht dargetan, inwiefern eine Berichtigung für den Ausgang des Verfahrens entscheidend sein könnte (Art. 97 Abs. 1 BGG).
4.2 Die Zusprechung der ganzen Rente beruhte auf einem unvollständig festgestellten Sachverhalt, und zwar nicht nur in psychiatrischer Hinsicht, wie dargelegt. Die Ärzte der Klinik X._ hatten aus rheumatologischer Sicht eine Arbeitsunfähigkeit von 100 % attestiert. Die Einschränkung bestand indessen lediglich auf Grund der Rückenoperation vom 12. September 2001. Die Einschätzung einer Arbeitsunfähigkeit von 100 % galt denn auch nur bis zur chirurgischen Nachkontrolle. Die behandelnden Ärzte rechneten sicher mit einer Steigerung der Arbeitsfähigkeit aus rheumatologischer Sicht. Zudem sollte die Arbeitsfähigkeit aus psychiatrischer Sicht neu beurteilt werden. Entgegen der Auffassung des Beschwerdeführers und der Vorinstanz hätte daher vor dem Entscheid über die Rente mehr als ein Jahr nach dem Aufenthalt in der Klinik X._ vom 4. bis 31. Oktober 2001 die Arbeitsfähigkeit aus somatischer und psychiatrischer Sicht nochmals eingehend abgeklärt werden müssen, was indessen unterblieb. Die Zusprechung einer ganzen Rente erfolgte somit auf keiner (nachvollziehbaren) fachärztlichen Einschätzung der Arbeitsfähigkeit. Die darauf beruhende Invaliditätsbemessung war somit von vornherein nicht rechtskonform und die entsprechende Verfügung demzufolge zweifellos unrichtig im wiedererwägungsrechtlichen Sinne (Urteil 9C_562/2008 vom 3. November 2008 E. 6.2.1 mit Hinweis). Daran ändert nichts, dass das ZMB-Gutachten vom 30. Januar 2007 keine eindeutige Aussage zur damaligen Arbeitsfähigkeit enthält und von weiteren diesbezüglichen Abklärungen keine neuen verwertbaren Erkenntnisse zu erwarten sind. Die - abzulehnende - gegenteilige Auffassung der Vorinstanz bedeutete, dass in Fällen wie dem vorliegenden, wo die tatbeständlichen Voraussetzungen für eine prozessuale Revision nach Art. 53 Abs. 1 ATSG oder eine materiellrechtliche Revision nach Art. 17 ATSG nicht gegeben sind, eine nachträgliche Korrektur einer klar rechtsfehlerhaften Invaliditätsbemessung unzulässig wäre, was nicht Sinn und Zweck von Gesetz und Rechtsprechung sein kann (E. 1.2). Dies gilt umso mehr, wenn auch die beruflichen Eingliederungsmöglichkeiten völlig unzureichend oder überhaupt nicht abgeklärt worden waren (vgl. Urteil 9C_215/2007 vom 2. Juli 2007 E. 5.3 und Urteil des Eidg. Versicherungsgerichts I 559/02 vom 31. Januar 2003 E. 5). So verhält es sich auch hier. Im Abklärungsbericht Selbständigerwerbende vom 10. Dezember 2002 wurde die Frage, ob durch eine berufliche Umstellung die Erwerbsfähigkeit wesentlich verbessert werden könnte, mit der Begründung verneint, der Versicherte wisse nicht, wie es weitergehe und fühle sich vollständig arbeitsunfähig. Einzig auf Grund der subjektiven Angaben des Versicherten waren somit keine beruflichen Abklärungen durchgeführt worden, was eine Verletzung des Grundsatzes «Eingliederung vor Rente» darstellt. Damit ist die Voraussetzung für eine Neuermittlung des Invaliditätsgrades auf der Grundlage eines richtig und vollständig festgestellten Sachverhalts gegeben (E. 1.2 in fine).
4.3 Die Rügen betreffend die vorinstanzliche Invaliditätsbemessung sind unbegründet. Der Einwand der unvollständigen Sachverhaltsfeststellung in Bezug auf die Schulterbeschwerden geht nicht über eine unzulässige appellatorische Kritik am vorinstanzlichen Entscheid hinaus (Urteil 9C_802/2008 vom 22. Dezember 2008 E. 1.2.2). Der zum Nachweis der neu geltend gemachten neuropsychologischen Defizite eingereichte Bericht vom 4. Juli 2001 stellt ein neues Beweismittel im Sinne von Art. 99 Abs. 1 BGG dar und hat somit unberücksichtigt zu bleiben. Schliesslich legt der Beschwerdeführer nicht dar, inwiefern die Feststellung der Vorinstanz, gemäss den Abklärungen an Ort und Stelle am 31. Oktober 2002 erfülle die angestammte Tätigkeit als selbständiger Graphiker die behinderungsbedingten Anforderungen an eine zumutbare Erwerbstätigkeit, offensichtlich unrichtig ist oder auf einer unhaltbaren Beweiswürdigung beruht. Der vorinstanzliche Entscheid verletzt somit im Ergebnis Bundesrecht nicht.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 BGG; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird im Sinne der Erwägungen abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes einstweilen auf die Gerichtskasse genommen.
3. Rechtsanwalt Thomas Laube wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. März 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler