Sachverhalt:
A. Mit Verfügung vom 15. Dezember 1997 sprach die IV-Stelle Solothurn dem 1976 geborenen B._ ab 1. August 1997 eine ganze Invalidenrente bei einem Invaliditätsgrad von 90 % zu, nachdem sie bereits früher für berufliche und medizinische Massnahmen aufgekommen war. Infolge Anstellung von B._ bei einer Bäckerei setzte die IV-Stelle ab 1. Mai 1998 die ganze auf eine halbe Rente herab (Verfügung vom 17. April 1998). Im Juni 2006 leitete die Verwaltung erneut ein Revisionsverfahren ein. Am 22. Juni 2006 teilte B._ mit, dass er zur Zeit eine Umschulung zum Bestatter mache und der Gesundheitszustand gleich geblieben sei. Nachdem vom Vater als Arbeitgeber des Versicherten trotz mehreren Aufforderungen keine Auskünfte erhältlich waren, holte die IV-Stelle den Auszug aus dem individuellen Konto vom 3. Juni 2008 ein. Am 16. Oktober 2008 forderte sie B._ auf, ihr diverse Unterlagen zuzustellen, die er am 30. Oktober 2008 einreichte. Mit Vorbescheid vom 15. Mai 2009 stellte die IV-Stelle B._ die rückwirkende Aufhebung der Rente ab 1. September 1999 sowie die Rückforderung der in dieser Zeit bezogenen Leistungen in Aussicht. Am 26. Juni 2009 erliess sie die Verfügung betreffend die Aufhebung der Invalidenrente und am 30. Juni 2009 jene betreffend die Rückforderung von Fr. 43'680.-.
B. B._ liess gegen die Verfügungen vom 26. und 30. Juni 2009 Beschwerde erheben. Nachdem das Versicherungsgericht des Kantons Solothurn in Nachachtung des Urteils 8C_504/2010 vom 2. Februar 2011 am 5. Januar 2012 eine Instruktionsverhandlung mit Parteibefragung und mündlichem Parteivortrag durchgeführt hatte, hiess es die Beschwerde mit Entscheid vom 31. Januar 2012 teilweise gut und änderte die Verfügung vom 30. Juni 2009 dahingehend ab, dass es den Betrag der Rückforderung auf Fr. 37'646.- herabsetzte. Die weitergehende Beschwerde wies es ab, soweit es darauf eintrat.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, der Entscheid vom 31. Januar 2012 sei aufzuheben und es sei festzustellen, dass für die nach der Meldung vom 22. Juni 2006 bezogenen Renten keine Rückerstattungspflicht bestehe resp. die nach diesem Zeitpunkt bezogenen Renten nicht rückerstattungspflichtig seien, und dass sämtliche allfälligen Rückforderungsansprüche (vor und nach dem 27. Juni 2006) bereits verwirkt seien und der Vorbescheid vom 15. Mai 2009 als verspätet zu betrachten und daher nicht geeignet sei, den Lauf der Verwirkungsfrist zu unterbrechen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme. Das kantonale Gericht beantragt die Abweisung der Beschwerde. Dazu lässt B._ in einer weiteren Eingabe Stellung nehmen.
D. Mit Verfügung vom 2. Juli 2012 ist der Beschwerde die aufschiebende Wirkung zuerkannt worden.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Der Beschwerdeführer beanstandet, eine andere Gerichtsschreiberin als jene, die bei der Verhandlung am 5. Januar 2012 anwesend gewesen sei, habe den vorinstanzlichen Entscheid verfasst. Diese Behauptung erfolgt offensichtlich wider besseres Wissen. Gemäss dem eingeholten "Auszug aus den Minuten der Gerichtsschreiberin", verfasst am 26. September 2012 von der vorinstanzlichen Gerichtsschreiberin J._, die auch den angefochtenen Entscheid unterzeichnete, waren an der Verhandlung vom 5. Januar 2012 nebst dem vorsitzenden Oberrichter F._ die Gerichtsschreiberin R._, Gerichtsschreiber E._ und sie selber anwesend. Laut den unwidersprochen gebliebenen Ausführungen der Vorinstanz vom 27. April 2012 stellte der vorsitzende Richter diese Personen vor und gab auch Erläuterungen für die ungewöhnliche Besetzung des Gerichts mit gleich drei Gerichtsschreibern resp. Gerichtsschreiberinnen ab. Im Übrigen könnte auch eine andere Gerichtsschreiberin als jene, die an der mündlichen Verhandlung das Protokoll führte, das Urteil redigieren: Wenn zwischen der Hauptverhandlung und der Urteilsfällung die Auswechslung eines Richters aus sachlichen Gründen zulässig ist (vgl. das Urteil 5A_429/2011 vom 9. August 2011 E. 3.4.2 und 3.4.3), so gilt dies a fortiori auch für eine Gerichtsschreiberin. Anstehende personelle Veränderungen am Versicherungsgericht, wie sie anlässlich der Verhandlung und in der vorinstanzlichen Vernehmlassung dargelegt wurden, sind ein sachlicher Grund für das Vorgehen des Versicherungsgerichts. Ein Verstoss gegen verfassungsmässige Vorschriften oder solche der EMRK ist nicht erkennbar.
3. 3.1 Die Vorinstanz hat festgestellt, dass sich die erwerblichen Auswirkungen des Gesundheitszustandes erheblich verändert hätten und der Versicherte spätestens seit 2002 ein rentenausschliessendes Einkommen erzielt habe. Sie ist der Auffassung, der Beschwerdeführer habe seine diesbezügliche Meldepflicht erst am 30. Oktober 2008 erfüllt. Ausgehend von einer mindestens leichten Fahrlässigkeit hat sie die rückwirkende Rentenaufhebung bestätigt. Zudem hat sie die Rückforderung von - auf den Zeitraum vom 1. Juli 2004 bis 31. Oktober 2008 entfallenden - Rentenleistungen im Betrag von Fr. 37'646.- für zulässig gehalten.
3.2 Die vorinstanzliche Feststellung betreffend die veränderten Verhältnisse sind unbestritten und verbindlich (E. 1); die Rentenaufhebung an sich wird denn auch nicht angefochten. Streitig und zu prüfen sind die Fragen nach einer Meldepflichtverletzung im Sinne von <ref-law> (SR 831.201) sowie nach der Verwirkung einer allfälligen Rückforderung im Sinne von <ref-law> (SR 830.1).
4. 4.1 Ändert sich der Invaliditätsgrad eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law>). Die Herabsetzung oder Aufhebung der Renten erfolgt rückwirkend vom Eintritt der für den Anspruch erheblichen Änderung, wenn die unrichtige Ausrichtung einer Leistung darauf zurückzuführen ist, dass der Bezüger sie unrechtmässig erwirkt hat oder der ihm gemäss Art. 77 zumutbaren Meldepflicht nicht nachgekommen ist (<ref-law>; <ref-ruling> E. 6.2 S. 47). Nach <ref-law> hat der Anspruchsberechtigte jede für den Leistungsanspruch wesentliche Änderung, u.a. namentlich eine solche seiner persönlichen und gegebenenfalls seiner wirtschaftlichen Verhältnisse, unverzüglich der IV-Stelle anzuzeigen (vgl. auch <ref-law>). Für den Tatbestand der Meldepflichtverletzung ist ein schuldhaftes Fehlverhalten erforderlich, wobei nach ständiger Rechtsprechung bereits eine leichte Fahrlässigkeit genügt (<ref-ruling> E. 2a S. 218; SVR 2012 IV Nr. 12 S. 61, 9C_226/2011 E. 4.2.1; Urteile 9C_570/2010 vom 8. September 2010 E. 3).
4. 4.1 Ändert sich der Invaliditätsgrad eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law>). Die Herabsetzung oder Aufhebung der Renten erfolgt rückwirkend vom Eintritt der für den Anspruch erheblichen Änderung, wenn die unrichtige Ausrichtung einer Leistung darauf zurückzuführen ist, dass der Bezüger sie unrechtmässig erwirkt hat oder der ihm gemäss Art. 77 zumutbaren Meldepflicht nicht nachgekommen ist (<ref-law>; <ref-ruling> E. 6.2 S. 47). Nach <ref-law> hat der Anspruchsberechtigte jede für den Leistungsanspruch wesentliche Änderung, u.a. namentlich eine solche seiner persönlichen und gegebenenfalls seiner wirtschaftlichen Verhältnisse, unverzüglich der IV-Stelle anzuzeigen (vgl. auch <ref-law>). Für den Tatbestand der Meldepflichtverletzung ist ein schuldhaftes Fehlverhalten erforderlich, wobei nach ständiger Rechtsprechung bereits eine leichte Fahrlässigkeit genügt (<ref-ruling> E. 2a S. 218; SVR 2012 IV Nr. 12 S. 61, 9C_226/2011 E. 4.2.1; Urteile 9C_570/2010 vom 8. September 2010 E. 3).
4.2 4.2.1 Die Vorinstanz hat festgestellt, die zwischen 1998 und 2003 erfolgte Steigerung des Einkommens um rund 140 % habe sich den Angaben des Versicherten vom 22. Juni 2006 auf dem Fragebogen nicht entnehmen lassen. Die Erwähnung einer unselbstständigen Tätigkeit weise nicht auf eine relevante Veränderung hin, habe er doch bereits früher eine solche ausgeübt. Mit dem Hinweis auf eine "Umschulung zum Bestatter" habe er die Information über das erhöhte Einkommen auch nicht sinngemäss geliefert, zumal dem Begriff "Umschulung" ein unter dem branchenüblichen Niveau liegender Lohn immanent sei. Am 30. Oktober 2008 habe er alle für das Erkennen der Veränderung notwendigen Angaben gemacht. Dass diese Feststellungen offensichtlich unrichtig sein oder auf einer Rechtsverletzung beruhen sollen, ist nicht ersichtlich und wird auch nicht geltend gemacht. Sie bleiben daher für das Bundesgericht verbindlich (E. 1).
4.2.2 Die vorinstanzliche Auffassung, wonach die Veränderung des Einkommens eine entscheidende, der Meldepflicht unterliegende Information darstellt, trifft zu. Richtig ist zudem, dass die Meldepflicht nach <ref-law> (und <ref-law>) unabhängig von einer konkreten Frage der IV-Stelle nach dem Verdienst - mithin losgelöst von (periodischen) Leistungsüberprüfungen im Rahmen von Revisionsverfahren - besteht und die versicherte Person vielmehr gehalten ist, dem Versicherungsträger von sich aus (UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 14 zu <ref-law>) alle ihr bekannten relevanten Veränderungen unverzüglich, vollständig und mit hinreichender Genauigkeit bekanntzugeben. Da die Invalidenrente eine Dauerleistung darstellt (vgl. ULRICH MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl. 2010, S. 369), ist die Verwaltung darauf angewiesen, dass ihr allfällige Änderungen in der Erwerbssituation gemeldet werden.
Zwar darf der Arbeitnehmer von einem pflichtgemässen Vorgehen des Arbeitgebers, welcher gehalten ist, der Ausgleichskasse den Lohn zu melden sowie die darauf entfallenden Sozialversicherungsbeiträge zu entrichten (vgl. <ref-law>), ausgehen. Dies enthebt ihn aber nicht der ihn persönlich treffenden Meldepflicht nach <ref-law>. Im Übrigen wäre diese Pflicht, selbst wenn sie gegenüber der Ausgleichskasse statt der IV-Stelle bestanden hätte, durch die blosse Tatsache, dass der Rentenbezüger mit der Kasse Beiträge abrechnet, nicht erfüllt (ZAK 1981 S. 94, I 257/80 E. 2). Umso weniger kann der Versicherte für sich etwas ableiten, wenn er selbst nichts unternimmt, sondern lediglich sein Arbeitgeber die Sozialversicherungsbeiträge entrichtet (SVR 2012 IV Nr. 12 S. 61, 9C_226/2011 E. 4.2.2). In diesem Zusammenhang hat die Vorinstanz zutreffend darauf hingewiesen, dass die Steuerbehörden keinen Bezug zum Rentenanspruch haben, weshalb auch die Angaben auf der Steuererklärung nicht genügen. Weiter ändert das Fehlverhalten des Arbeitgebers, der trotz mehrerer Mahnungen keine Auskünfte erteilte und den ihm zugestellten Fragebogen nicht ausfüllte (vgl. <ref-law>), nichts an der den Beschwerdeführer persönlich treffenden Meldepflicht. Daher bestand für die Vorinstanz auch keine Veranlassung, die Sachbearbeiterin der IV-Stelle oder den Arbeitgeber zu befragen. Im Übrigen geht es hier nicht um "Sippenhaft" oder darum, den Versicherten für das Verhalten des Arbeitgebers resp. Vaters zu "bestrafen", sondern um die Frage, ob er zu Unrecht bezogene Leistungen (wenigstens teilweise) zurückerstatten muss oder behalten darf.
4.2.3 Somit entstand im konkreten Fall die Meldepflicht in Bezug auf ein im Vergleich zu 1998 wesentlich erhöhtes Einkommen mit Antritt der entsprechenden Arbeitsstelle. Diesbezüglich machte der Beschwerdeführer hingegen erst am 30. Oktober 2008 konkrete Angaben; dass er früher genügend klar auf die Erhöhung des Erwerbseinkommens hingewiesen haben soll, ist nicht aktenkundig.
4.2.3 Somit entstand im konkreten Fall die Meldepflicht in Bezug auf ein im Vergleich zu 1998 wesentlich erhöhtes Einkommen mit Antritt der entsprechenden Arbeitsstelle. Diesbezüglich machte der Beschwerdeführer hingegen erst am 30. Oktober 2008 konkrete Angaben; dass er früher genügend klar auf die Erhöhung des Erwerbseinkommens hingewiesen haben soll, ist nicht aktenkundig.
4.3 4.3.1 Mit Bezug auf ein schuldhaftes Fehlverhalten hat das kantonale Gericht verbindlich (E. 1) festgestellt, der Versicherte sei in den an ihn adressierten Verfügungen vom 15. Dezember 1997 und vom 17. April 1998 auf die Meldepflicht hingewiesen worden. Er sei damals volljährig und uneingeschränkt handlungsfähig gewesen. Er sei auch in der Lage gewesen, die Hinweise und deren Bedeutung zu verstehen.
4.3.2 Das kantonale Gericht hat zutreffend erkannt, dass der Versicherte sich nicht darauf berufen kann, sein Vater habe sich um seine Versicherungsangelegenheiten gekümmert. Einerseits ist ihm dessen Wissen anzurechnen, weil sonst bei in Hausgemeinschaft mit den Eltern lebenden handlungsfähigen Versicherten der gesetzlichen Meldepflicht weitgehend der Boden entzogen würde. Anderseits hätte ihm selber die Bedeutung des veränderten Einkommens für den Rentenanspruch ohnehin bewusst sein müssen: Wegen einer solchen Änderung der Erwerbssituation (Anstellung bei einer Bäckerei) war bereits seine zuvor ganze auf eine halbe Invalidenrente herabgesetzt worden; die Erfüllung der gesetzlichen Pflicht durfte daher in guten Treuen von ihm erwartet werden, und zwar auch wenn er die Verfügungen von 1997 und 1998 nicht zur Kenntnis nahm. Damit steht fest, dass der Beschwerdeführer die ihm obliegende Meldepflicht mindestens in leicht fahrlässiger Weise verletzte.
4.4 Die Kausalität der Meldepflichtverletzung für den unrechtmässigen Leistungsbezug wird nicht schon dadurch unterbrochen, dass die Angaben der versicherten Person mit der Möglichkeit von tatsächlichen Veränderungen vereinbar sind oder dass die IV-Stelle im Rahmen eines Revisionsverfahrens routinemässige Abklärungen trifft, indem sie - ohne konkrete Anhaltspunkte für ein erheblich verändertes Einkommen - dem aktuellen Arbeitgeber einen Fragebogen zustellt. Dies wäre nur dann der Fall, wenn die Verwaltung die notwendige Information etwa durch den Arbeitgeber tatsächlich erhalten hätte, was indessen nicht zutrifft. Dass aus einem anderen Grund Anlass bestand, an der Rechtmässigkeit des bisherigen Rentenbezugs ernsthaft zu zweifeln und diesbezüglich von Amtes wegen weitere Abklärungen zu treffen, ist nicht ersichtlich und wird auch nicht geltend gemacht. Ebenso ist in dieser Hinsicht unerheblich, dass die IV-Stelle die verwaltungsintern vorgesehenen früheren Revisionstermine nicht wahrnahm (vgl. E. 5.3), steht doch die Meldepflichtverletzung in solchen Fällen im Vordergrund: Sie hielt denn auch im konkreten Fall nach der 2006 tatsächlich erfolgten Eröffnung des Revisionsverfahrens an. Nach dem Gesagten ist die rückwirkende Aufhebung der Rente gemäss <ref-law> (E. 4.1) rechtens.
5.1 5.1.1 Nach <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten. Die Voraussetzung für eine Rückforderung ist bei einer Rentenrevision nach <ref-law> gegeben, falls sie gemäss <ref-law> rückwirkend erfolgt (UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 12 und 15 zu <ref-law>; vgl. auch RALPH JÖHL, Die Revision nach <ref-law>, in: Jahrbuch zum Sozialversicherungsrecht 2012, S. 159). Der Grund für die Rückerstattung der Rentenleistungen liegt nicht in einer analogen Anwendung von Art. 62 f. OR, sondern darin, dass <ref-law> für die rückwirkende Aufhebung oder Herabsetzung einer Rente eine Kausalität zwischen einer Meldepflichtverletzung und dem unrechtmässigen Bezug von Versicherungsleistungen voraussetzt; eine rückwirkende Aufhebung der Rente resp. die Rückforderung der entsprechenden Betreffnisse scheidet daher für die Zeit nach erfolgter Meldung aus (<ref-ruling> E. 4 S. 435; <ref-ruling> E. 3b S. 219 ff.; SVR 2008 KV Nr. 4 S. 11, K 70/06 E. 7.2).
5.1.2 Gemäss Art. 25 Abs. 2 erster Satz ATSG erlischt der Rückforderungsanspruch mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Bei den genannten Fristen handelt es sich um Verwirkungsfristen (<ref-ruling> E. 4.1 S. 582; <ref-ruling> E. 3a S. 433). Massgeblich für die Auslösung der relativen Frist von einem Jahr ist der Zeitpunkt, in welchem die Verwaltung bei Beachtung der ihr zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen (<ref-ruling> E. 3a S. 433; SVR 2011 BVG Nr. 25 S. 93, 9C_611/2010 E. 3; Urteil 8C_64/2011 vom 7. November 2011 E. 2.2).
5.2 Die Einhaltung der fünfjährigen, absoluten Verwirkungsfrist liegt zu Recht nicht im Streit, werden doch lediglich ab Juli 2004 ausgerichtete Rentenbetreffnisse zurückgefordert. Weiter hat die Vorinstanz die Rückforderung auf den Zeitraum bis Oktober 2008 beschränkt mit der zutreffenden Begründung, ab Zugang der vom Beschwerdeführer am 30. Oktober 2008 eingereichten Unterlagen habe die IV-Stelle um das höhere Invalideneinkommen gewusst.
5.3 Was die relative Frist anbelangt, so ergeben sich die Voraussetzungen für eine Rückforderung nicht aus den Angaben des Beschwerdeführers im von ihm am 22. Juni 2006 ausgefüllten Fragebogen (E. 4.2.1), sondern erst aus den am 30. Oktober 2008 eingereichten Unterlagen. Die Vorinstanz hat zutreffend darauf verwiesen, dass das Wissen der Ausgleichskasse nicht der IV-Stelle anzurechnen ist (E. 4.2.2). Der Umstand, dass die Verwaltung frühere - nicht gesetzlich festgelegte, sondern lediglich verwaltungsintern vorgesehene - Revisionstermine nicht wahrgenommen hatte, ist für sich allein im hier interessierenden Zusammenhang bedeutungslos. Massgeblich für die Auslösung der Verwirkungsfrist resp. die Notwendigkeit vorangehender Abklärungen ist, dass ein konkreter Anhaltspunkt für ein erheblich verändertes Einkommen besteht. Nach nicht offensichtlich unrichtiger und daher verbindlicher (E. 1) vorinstanzlicher Feststellung ergab sich ein solcher auch nicht aus dem Verhalten des Vaters des Versicherten, namentlich nicht aus dessen telefonischer Auskunft vom Juli 2007. Erst durch den Auszug aus dem individuellen Konto vom 3. Juni 2008 musste sich die IV-Stelle veranlasst sehen, im Hinblick auf eine Rückforderung genauere Abklärungen mit zumutbarem Einsatz zu veranlassen.
Inwiefern sich aus dem vom Beschwerdeführer angerufenen Urteil 4A_329 und 369/2009 vom 1. Dezember 2009 etwas anderes ergeben sollte, ist nicht nachvollziehbar. Dort ging es um die Kenntnis eines Personenschadens infolge unerlaubter Handlung (vgl. <ref-law>) und um die vom Anwalt im Rahmen eines Auftragsverhältnisses mit Blick auf die Fristwahrung (<ref-law>) aufzubringende Sorgfalt. Diese Ausgangslage ist mit der vorliegenden Angelegenheit nicht vergleichbar. Den Beschwerdeführer trifft als Rentenbezüger eine Meldepflicht, der er nicht nachkam (E. 4.3.2). Die Rückerstattungspflicht basiert auch nicht auf einer analogen Anwendung von Art. 62 f. OR (E. 5.1.1), weshalb eine Berufung auf die Rechtsprechung zu Art. 67 oder <ref-law> ins Leere zielt. Im Übrigen hätte es der Versicherte selber in der Hand gehabt, die Verwaltung genügend klar auf die Erhöhung seines Einkommens hinzuweisen; es grenzt daher an Rechtsmissbrauch, wenn er unter den gegebenen Umständen der Verwaltung Untätigkeit resp. verspätetes Handeln vorwirft.
5.4 Die Verwaltung hat denn auch das Nötige vorgekehrt, indem sie im Oktober 2008 vom Versicherten konkret genannte Dokumente einforderte. Selbst wenn anzunehmen wäre, dass dies früher hätte erfolgen können, ist bis zum Eingang der notwendigen Unterlagen zumindest rund ein Monat zu veranschlagen. Die einjährige Frist ist demnach selbst mit Erlass der letzten Verfügung am 30. Juni 2009 gewahrt (vgl. indessen für die Massgeblichkeit des Vorbescheids SVR 2011 IV Nr. 52 S. 155, 8C_699/2010 E. 2 und 5.1). Der Beschwerdeführer bringt nichts vor gegen die Höhe des von der Vorinstanz auf Fr. 37'646.- festgesetzten Rückforderungsbetrags. Die Beschwerde ist unbegründet.
6. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Bei deren Festsetzung ist den zum Teil weitschweifigen Ausführungen in der Beschwerdeschrift, welche nicht zuletzt einen unnötigen Zeitaufwand zumindest mitverursacht haben, Rechnung zu tragen (<ref-law>; Urteil 8C_465/2007 vom 29. April 2008 E. 5; vgl. auch Urteile 8C_843/2011 vom 29. Mai 2012 E. 2.2; 8C_106/2011 vom 1. Juni 2011 E. 3; 6P.24/1999 vom 29. März 1999 E. 2b).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Oktober 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann