Sachverhalt:
A. A.a Der 1965 geborene C._ bezog ab 1. Februar 1999 eine halbe Invalidenrente samt Zusatzrente für die Ehefrau und zwei Kinderrenten. Auf sein Gesuch hin erhöhte die IV-Stelle des Kantons Aargau u.a. in Berücksichtigung der Berichte des behandelnden Psychiaters und Psychotherapeuten Dr. med. A._ vom 1. Juli und 9. Dezember 2005 die halbe Rente rückwirkend ab 1. Dezember 2004 auf eine ganze Rente (Verfügung vom 3. März 2006). Im Rahmen des im September 2007 eingeleiteten Revisionsverfahrens bestätigte die IV-Stelle im Wesentlichen gestützt auf den Verlaufsbericht des Dr. med. A._ vom 30. September 2007 die Rente (Mitteilung vom 5. Oktober 2007).
Im Januar 2007 hatte C._ (ein zweites Mal) Hilflosenentschädigung beantragt. Nach Abklärungen wies die IV-Stelle mit Verfügung vom 29. April 2008 das Leistungsbegehren ab. In teilweiser Gutheissung der dagegen eingereichten Beschwerde hob das Versicherungsgericht des Kantons Aargau mit Entscheid vom 16. Juni 2009 diesen Verwaltungsakt auf und wies die Sache zur Vornahme weiterer Abklärungen im Sinne der Erwägungen sowie anschliessender Neuverfügung an die Verwaltung zurück.
A.b Mit Schreiben vom 17. September 2009 ersuchte die IV-Stelle die Medizinische Abklärungsstelle (MEDAS) C._ rheumatologisch-orthopädisch und psychiatrisch zu begutachten, wobei insbesondere interessiere, inwieweit ab Oktober 2007 eine Verschlechterung des Gesundheitszustandes eingetreten sei. Nach Eingang der Expertise vom 10. März 2011 und nach durchgeführtem Vorbescheidverfahren verneinte die IV-Stelle mit Verfügung vom 22. Juni 2011 den Anspruch auf Hilflosenentschädigung. Mit Verfügung vom 12. August 2011 hob sie die ganze Rente auf Ende September 2011 auf.
B. Die Beschwerde des C._ gegen die rentenaufhebende Verfügung wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 1. Mai 2012 ab.
C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der Entscheid vom 1. Mai 2012 und die Verfügung vom 12. August 2011 seien aufzuheben und es sei ihm ab 1. Oktober 2011 eine volle (recte: ganze) Invalidenrente zuzusprechen; eventualiter sei die Sache zur Ergänzung des Beweisverfahrens, insbesondere zur Durchführung eines ergänzenden medizinischen Gutachtens, und gestützt darauf zur Neubeurteilung an die Vorinstanz zurückzuweisen. Weiter seien die vorinstanzlichen Verfahrenskosten der IV-Stelle aufzuerlegen und diese zu verpflichten, ihm die Parteikosten des Verwaltungs- und erstinstanzlichen Beschwerdeverfahrens zu ersetzen.
Die IV-Stelle verweist auf ihre Ausführungen im angefochtenen Entscheid, ohne einen Antrag zu stellen. Das kantonale Versicherungsgericht verzichtet auf eine Stellungnahme, während das Bundesamt für Sozialversicherungen sich nicht vernehmen lässt.

Erwägungen:
1. Soweit der Beschwerdeführer beantragt, die IV-Stelle habe ihm die Parteikosten des Verwaltungsverfahrens zu ersetzen, kann auf dieses erstmals vor Bundesgericht gestellte Begehren wegen <ref-law> und mangels eines Anfechtungsgegenstandes nicht eingetreten werden (<ref-ruling> E. 1a S. 414).
2. Der Beschwerdeführer rügt eine Verletzung seines Anspruchs auf rechtliches Gehör im Zusammenhang mit der Erstellung des MEDAS-Gutachtens vom 10. März 2011. Seine Vorbringen sind verspätet, soweit er erstmals vor Bundesgericht geltend macht, die Namen der begutachtenden Ärzte und deren fachliche Qualifikation seien ihm nicht rechtzeitig mitgeteilt worden, und es sei ihm nicht Gelegenheit gegeben worden, zur Expertise Stellung zu nehmen und allenfalls Ergänzungsfragen zu stellen. Die Ausführungen zum dritten Rügepunkt, der Gutachtensauftrag sei unklar und widersprüchlich gewesen, nehmen nicht hinreichend substanziiert Bezug zu den diesbezüglichen Erwägungen der Vorinstanz, weshalb darauf nicht näher einzugehen ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; <ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 1.4 S. 254). Schliesslich ist die Rüge der Verletzung des rechtlichen Gehörs im Zusammenhang mit der Aufhebung der Mitteilung vom 5. Oktober 2007 durch die Vorinstanz (E. 3) bedeutungslos mit Blick darauf, dass der angefochtene Entscheid sich insoweit nicht halten lässt (E. 4.2 und 4.3).
3. Die Vorinstanz hat die Aufhebung der ganzen Rente auf Ende September 2011 zufolge Fehlens eines Revisionsgrundes nach <ref-law> geschützt mit der substituierten Begründung der zweifellosen Unrichtigkeit der Mitteilung vom 5. Oktober 2007, mit der die IV-Stelle die Verfügung vom 3. März 2006 (Erhöhung der ursprünglich halben auf eine ganze Rente ab 1. Dezember 2004) mangels einer Änderung des Invaliditätsgrades bestätigt hatte (vgl. <ref-law> und <ref-ruling> E. 2 S. 369 sowie SVR 2011 IV Nr. 20 S. 53, 9C_303/2010 E. 4). Der massgebende Verlaufsbericht des behandelnden Psychiaters und Psychotherapeuten Dr. med. A._ vom 30. September 2007 habe nicht nachvollziehbare Diagnosen und Beurteilungen der Arbeitsfähigkeit enthalten (vgl. Urteile 8C_647/2011 vom 4. Januar 2012 E. 2.3 mit Hinweisen und 9C_562/2008 vom 3. November 2008 E. 6.2.1).
Der Beschwerdeführer hält dagegen, die Mitteilung vom 5. Oktober 2007 könne nicht Referenzzeitpunkt sein, da sie nicht auf einer rechtskonformen Sachverhaltsabklärung mit Beweiswürdigung beruhe. Massgebend sei die Verfügung vom 3. März 2006, mit der die halbe Rente rückwirkend ab 1. Dezember 2004 auf eine ganze Rente erhöht worden sei. Bezogen auf den 3. März 2006 sei kein Revisionsgrund gegeben.
4. 4.1 Zeitliche Vergleichsbasis für die Beurteilung einer Änderung des Invaliditätsgrades im Sinne von <ref-law> bildet die letzte anspruchsändernde (<ref-ruling> E. 4.1 S. 109) oder auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Invaliditätsbemessung beruhende Verfügung (<ref-ruling>; vgl. auch <ref-ruling> E. 3.2.3 S. 75 ff.; Urteil 9C_889/2011 vom 8. Februar 2012 E. 3.2). Eine Mitteilung nach <ref-law>, mit der eine Revision von Amtes wegen abgeschlossen wurde mit der Feststellung, es sei keine leistungsbeeinflussende Änderung der Verhältnisse gegeben, ist einer rechtskräftigen Verfügung gleichgestellt (Urteil 9C_882/2010 vom 25. Januar 2011 E. 3.2.1 mit Hinweisen).
Im Urteil 8C_647/2011 vom 4. Januar 2012 E. 4.2 hat das Bundesgericht offengelassen, ob eine Mitteilung nach <ref-law> wegen zweifelloser Unrichtigkeit in Wiedererwägung gezogen werden kann, oder ob lediglich ein Zurückkommen auf die ursprüngliche Rentenverfügung zulässig ist. Die Frage braucht auch hier nicht entschieden zu werden. Immerhin ist auf das Urteil des Eidg. Versicherungsgerichts I 859/05 vom 10. Mai 2006 E. 2.2 hinzuweisen, wonach eine zweifellos zu Unrecht zugesprochene Rente auch dann wiedererwägungsweise aufgehoben werden kann, wenn sie zuvor anlässlich einer Revision bestätigt worden war.
4.2 Gemäss Vorinstanz ist die Mitteilung vom 5. Oktober 2007 Vergleichsbasis. In diesem Zeitpunkt sei der Leistungsanspruch letztmals materiell beurteilt worden, wobei sich die IV-Stelle insbesondere auf den Verlaufsbericht des Dr. med. A._ vom 30. September 2007 gestützt habe. Von einer revisionsrechtlich relevanten Prüfung des Rentenanspruchs auf der Grundlage einer rechtskonformen Sachverhaltsabklärung, kann indessen nicht gesprochen werden, wie der Beschwerdeführer vorbringt. Der behandelnde Psychiater bezeichnete im erwähnten Bericht den Gesundheitszustand seit dem letzten Bericht vom 9. Dezember 2005 als stationär und er verneinte Änderungen in der Diagnose. Der Patient sei weiterhin subdepressiv; er könne sich mit der Invalidität immer noch nicht anfreunden; er sei sozial isoliert und ängstlich; es bestünden chronische Schmerzen und eine eingeschränkte Beweglichkeit. In den Berichten vom 1. Juli und 9. Dezember 2005, die Grundlage der am 3. März 2006 verfügten Erhöhung der halben auf eine ganze Rente bildeten, hatte Dr. med. A._ eine rezidivierende depressive Störung, gegenwärtig schwere Episode ohne psychotische Symptome (ICD-10 F33.2) sowie eine ängstliche Persönlichkeitsstörung (ICD-10 F60.6) diagnostiziert und lediglich Tätigkeiten in geschütztem Rahmen ohne Leistungsdruck als zumutbar erachtet. Dass derselbe Arzt im Bericht vom 30. September 2007 von einem (lediglich) subdepressiven Zustand sprach, der nach vorinstanzlicher Feststellung nicht das Ausmass einer (krankheitswertigen) Depression erreichte, gleichzeitig aber den Gesundheitszustand als stationär und die Diagnosen als unverändert bezeichnete, ist ein unauflösbarer Widerspruch. Unter diesen Umständen hätte eine auch im revisionsrechtlichen Sinne rechtskonforme Sachverhaltsabklärung zwingend ergänzende medizinische Abklärungen erfordert, was indessen unterblieb. Gemäss Beschwerdeführer hätte der Bericht vom 30. September 2007 zumindest dem regionalen ärztlichen Dienst zur Prüfung unterbreitet werden müssen. Die den Rentenanspruch bestätigende Mitteilung vom 5. Oktober 2007 beruht somit auf einem unvollständig abgeklärten Sachverhalt und kann daher nicht Vergleichsbasis sein.
4.3 Die Vorinstanz hat nicht geprüft, ob hinsichtlich der Verfügung vom 3. März 2006, mit welcher die halbe Rente auf eine ganze erhöht worden war, ein Revisionsgrund gegeben ist, und diesbezüglich keine Feststellungen getroffen. Der Beschwerdeführer verneint die Frage. Insbesondere habe sich der psychische Gesundheitszustand seither nicht verbessert. Das MEDAS-Gutachten vom 10. März 2011 sei insofern nicht schlüssig. Die Experten der Abklärungsstelle gingen von einer Verbesserung des psychischen Zustandsbildes aus. Dabei stützten sie sich wesentlich auf den Bericht des Dr. med. A._ vom 30. September 2007 ab, wo nur noch ein subdepressives Zustandsbild beschrieben, die anamnestisch festgehaltene rezidivierende depressive Störung in schwerer Ausprägung jedoch nicht mehr attestiert werde. Ebenfalls habe der behandelnde Psychiater im Verlaufsbericht vom 2. August 2009 erwähnt, der psychische Zustand sei labil; depressive Phasen seien die Regel. Daher und aufgrund der aktuell vorliegenden Befunde werde von einer Remission der depressiven Symptomatologie ausgegangen. Auf diese Beurteilung ist abzustellen. Dabei kann offenbleiben, ob Dr. med. A._ in seinen Berichten vom 30. September 2007 und 2. August 2009 einen im Wesentlichen unveränderten Gesundheitszustand gegenüber 2005 dokumentierte. Es änderte nichts daran, dass die gutachterliche Abklärung keine psychiatrischen Befunde mit Auswirkungen auf die Arbeitsfähigkeit mehr ergab. In Bezug auf eine allfällige in der Expertise aktuell und retrospektiv verneinte Persönlichkeitsstörung mit eigenständigem Krankheitswert ist in antizipierender Beweiswürdigung auf weitere Abklärungen zu verzichten.
4.4 Der Beschwerdeführer bestreitet den Beweiswert des Administrativgutachtens vom 10. März 2011. Seine Begründung ist indessen nicht stichhaltig. Weder die erheblich davon abweichende Beurteilung des behandelnden Psychiaters noch der Umstand, dass dieser bedeutend länger praktiziert und insofern über mehr Erfahrung verfügt als die psychiatrische Gutachterin, vermögen den Beweiswert der Expertise (vgl. dazu <ref-ruling> E. 3a S. 352) entscheidend zu mindern.
5. In Bezug auf den Einkommensvergleich zur Ermittlung des Invaliditätsgrades (<ref-law> in Verbindung mit <ref-law>) bringt der Beschwerdeführer vor, die Verwertbarkeit des medizinisch festgestellten Leistungsvermögens auf dem ausgeglichenen Arbeitsmarkt sei nicht nachgewiesen. Die Eingliederungsfrage sei offen. Eine Anstellung im kaufmännischen Bereich sei ausgeschlossen, nachdem er seit über acht Jahren keiner beruflichen Tätigkeit mehr nachgegangen sei. Mit diesen Vorbringen bestreitet er das vorinstanzlich festgesetzte Invalideneinkommen, ohne auf die betreffenden Erwägungen im angefochtenen Entscheid Bezug zu nehmen. Der Hinweis auf das Urteil 9C_720/2007 vom 28. April 2008 E. 4.1 und 4.2 ist unbehelflich. Der Beschwerdeführer verkennt, dass Ausnahmen vom Grundsatz der erwerblichen Verwertbarkeit einer verbesserten oder wiedergewonnenen Arbeitsfähigkeit auf dem Weg der Selbsteingliederung (Urteil 9C_882/2010 vom 25. Januar 2011 E. 8.1 mit Hinweisen) sich auf Fälle beschränken, in denen die revisions- oder wiedererwägungsweise Herabsetzung oder Aufhebung der Invalidenrente eine versicherte Person betrifft, welche das 55. Altersjahr zurückgelegt oder die Rente seit mehr als 15 Jahren bezogen hat (SVR 2012 IV Nr. 25 S. 104, 9C_ 363/2011 E. 3.1 in fine mit Hinweis). Diese Voraussetzungen sind vorliegend offensichtlich nicht gegeben.
6. Der vorinstanzliche Entscheid verletzt im Ergebnis kein Bundesrecht.
7. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. November 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler