Sachverhalt:
A. Die X._ AG war der Ausgleichskasse Gewerbe St. Gallen als beitragspflichtige Arbeitgeberin angeschlossen. Entsprechend den Eintragungen im Handelsregister war M._ seit 12. Mai 2004 einziges Mitglied des Verwaltungsrates. Über die Gesellschaft wurde im Oktober 2006 der Konkurs eröffnet; im Juli 2007 wurde das Verfahren als geschlossen erklärt. Mit Verfügung vom 11. September 2008 verpflichtete die Ausgleichskasse Gewerbe St. Gallen M._ zur Bezahlung von Schadenersatz für entgangene bundes- und kantonalrechtliche Beiträge in der Höhe von Fr. 107'527.35. Daran hielt sie mit Einspracheentscheid vom 19. Mai 2010 fest.
B. Das als Beschwerde (betreffend bundesrechtliche Schadenersatzforderung) und Rekurs (betreffend kantonalrechtliche Schadenersatzforderung) entgegengenommene Rechtsmittel des M._ wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 8. Juni 2012 ab.
C. M._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, der Entscheid vom 8. Juni 2012 sei aufzuheben und es sei festzustellen, dass er der Ausgleichskasse keinen Schadenersatz zu bezahlen habe.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.
D. Mit Verfügung vom 14. Dezember 2012 hat die Instruktionsrichterin der Beschwerde aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Die II. sozialrechtliche Abteilung ist zuständig für den Entscheid über die streitige Schadenersatzpflicht nach <ref-law> (<ref-law> und Art. 35 lit. a des Reglements für das Bundesgericht vom 20. November 2006 [BGerR; SR 173.110.131]). Nach <ref-law> fällt die kantonale Sozialversicherung zwar in die Zuständigkeit der I. sozialrechtlichen Abteilung. Es ist indessen aus prozessökonomischen Gründen sinnvoll, dass die II. Abteilung auch über die Schadenersatzpflicht entscheidet, soweit sie entgangene Sozialversicherungsbeiträge nach kantonalem Recht betrifft (Urteil 9C_465/2007 vom 20. Dezember 2007).
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
3. 3.1 Vorab ist auf die Rügen formeller Natur einzugehen. Der Beschwerdeführer behauptet pauschal, "grösstenteils" verfassten am Versicherungsgericht die Gerichtsschreiber Entscheidentwürfe, die dann ohne die Akten bei den Richtern zirkulierten. Somit seien es faktisch die Gerichtsschreiber, die über die Fälle entschieden. Er sieht darin eine Verletzung des Anspruchs auf ein ordnungsgemäss besetztes Gericht (<ref-law>; Art. 6 Ziff. 1 EMRK). Zudem bemängelt er eine mit Blick auf <ref-law> ungenügende Begründung des vorinstanzlichen Entscheids.
3. 3.1 Vorab ist auf die Rügen formeller Natur einzugehen. Der Beschwerdeführer behauptet pauschal, "grösstenteils" verfassten am Versicherungsgericht die Gerichtsschreiber Entscheidentwürfe, die dann ohne die Akten bei den Richtern zirkulierten. Somit seien es faktisch die Gerichtsschreiber, die über die Fälle entschieden. Er sieht darin eine Verletzung des Anspruchs auf ein ordnungsgemäss besetztes Gericht (<ref-law>; Art. 6 Ziff. 1 EMRK). Zudem bemängelt er eine mit Blick auf <ref-law> ungenügende Begründung des vorinstanzlichen Entscheids.
3.2 3.2.1 Sowohl <ref-law> als auch Art. 6 Ziff. 1 EMRK geben dem Einzelnen Anspruch auf richtige Besetzung des Gerichts und Einhaltung der jeweils geltenden staatlichen Zuständigkeitsordnung (<ref-ruling> E. 1.3.1 S. 338; <ref-ruling> E. 2a S. 84; <ref-ruling> E. 3c S. 130, S. 196 E. 2b S. 198; <ref-ruling> E. 2b S. 170; SVR 2000 UV Nr. 21 S. 72, U 161/98 E. 2a). Die Bundesverfassung schreibt den Kantonen nicht eine bestimmte Gerichtsorganisation oder ein bestimmtes Verfahren vor, sondern verlangt nur, dass das formelle Gesetz die Grundzüge der Zuständigkeiten, Kompetenzen und der Organisation des Gerichts generell-abstrakt normiert (Urteil 8C_525/2012 vom 16. November 2012 E. 2.2.1 mit weiteren Hinweisen; vgl. auch REINHOLD HOTZ in: Die schweizerische Bundesverfassung, St. Galler Kommentar, 2. Aufl. 2008, N. 10 f. zu <ref-law>).
3.2.2 Ein konkreter Anhaltspunkt dafür, dass die zuständigen Richter oder Richterinnen die Entscheide nur "pro forma" treffen oder die Gerichtsschreiber richterliche Kompetenzen ausüben sollen, ist weder hinsichtlich der generellen Gerichtsorganisation noch bezogen auf den konkreten Fall ersichtlich. Die blosse Behauptung, zumindest der "ausserhalb der Gerichtsräume arbeitende" ausserordentliche Richter habe ohne Aktenstudium über den Fall entschieden, genügt diesbezüglich nicht. Der Beschwerdeführer legt zudem nicht substanziiert dar (vgl. <ref-law>), inwiefern bei der Entscheidfassung über seine Begehren Bestimmungen des st. gallischen Gerichtsgesetzes vom 2. April 1987 (GerG; sGS 941.1) oder der kantonalen Verordnung vom 2. Dezember 2010 über die Organisation und den Geschäftsgang des Versicherungsgerichtes (sGS 941.114) - die den richterlichen Zirkularbeschluss über einen vom Gerichtsschreiber verfassten Urteilsentwurf zulassen (vgl. Art. 50 und Art. 67 Abs. 1 lit. b GerG sowie Art. 14 Abs. 1 und 16 Abs. 1 der Verordnung) - und damit die Garantie des verfassungsmässigen Gerichts verletzt sein sollen.
3.3 Die Vorinstanz hat die als wesentlich und erstellt erachteten Tatsachen und die daraus gezogenen rechtlichen Schlüsse nachvollziehbar dargelegt. Darin kann keine Verletzung der aus dem Anspruch auf rechtliches Gehör nach <ref-law> sowie <ref-law> (SR 830.1) und <ref-law> abgeleiteten Prüfungs- und Begründungspflicht (Urteil 5A_368/2007 vom 18. September 2007 E. 2; vgl. auch <ref-ruling> E. 5.3 S. 357 ff.) oder des Willkürverbotes (<ref-law>) erblickt werden (Urteil 9C_215/2010 vom 20. April 2010 E. 3). Entscheidend ist, dass es den Parteien möglich ist, das vorinstanzliche Erkenntnis - unter Berücksichtigung der Kognition des Bundesgerichts (HANSJÖRG SEILER und andere, Bundesgerichtsgesetz [BGG], 2007, N. 9 f. zu <ref-law>) - sachgerecht anzufechten (<ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 1a S. 181). Dies trifft hier zu.
4. 4.1 Nach <ref-law>, welcher sinngemäss auch im Bereich der Invalidenversicherung (<ref-law>), der Erwerbsersatzordnung (<ref-law>, SR 834.1), der Arbeitslosenversicherung (<ref-law>, SR 837.0) und der kantonalrechtlichen Familienzulagen (Art. 47 lit. d des st. gallischen Kinderzulagengesetzes vom 11. April 1996 [sGS 371.1], in der bis 31. Dezember 2008 gültig gewesenen Fassung; vgl. Urteil 9C_369/2012 vom 2. November 2012 E. 2.3) Anwendung findet, hat ein Arbeitgeber, der durch absichtliche oder grobfahrlässige Missachtung von Vorschriften einen Schaden verschuldet, diesen der Ausgleichskasse zu ersetzen. Ist der Arbeitgeber eine juristische Person, so können subsidiär gegebenenfalls die verantwortlichen Organe in Anspruch genommen werden (<ref-ruling>; <ref-ruling>; <ref-ruling> E. 5b S. 15; je mit Hinweisen; vgl. <ref-law> in der seit 1. Januar 2012 geltenden Fassung).
4.2 Der Beschwerdeführer als ehemaliger einziger Verwaltungsrat der in Konkurs gefallenen Gesellschaft stellt seine Haftung für entgangene Beiträge in der Höhe von Fr. 107'527.35 nicht im Grundsatz in Abrede. Streitig und zu prüfen ist die Frage, ob die Schadenersatzforderung verjährt ist, sowie, bei deren Verneinung, ob Gründe für die Herabsetzung der Ersatzpflicht vorliegen.
4.2 Der Beschwerdeführer als ehemaliger einziger Verwaltungsrat der in Konkurs gefallenen Gesellschaft stellt seine Haftung für entgangene Beiträge in der Höhe von Fr. 107'527.35 nicht im Grundsatz in Abrede. Streitig und zu prüfen ist die Frage, ob die Schadenersatzforderung verjährt ist, sowie, bei deren Verneinung, ob Gründe für die Herabsetzung der Ersatzpflicht vorliegen.
4.3 4.3.1 Der Schadenersatzanspruch verjährt zwei Jahre, nachdem die zuständige Ausgleichskasse vom Schaden Kenntnis erhalten hat, spätestens aber fünf Jahre nach Eintritt des Schadens (<ref-law>). Darunter ist der Zeitpunkt zu verstehen, ab welchem die Ausgleichskasse die Beiträge infolge Zahlungsunfähigkeit des Arbeitgebers aus rechtlichen oder tatsächlichen Gründen nicht mehr im ordentlichen Verfahren geltend machen kann (<ref-ruling> E. 5.5 S. 170; SVR 2011 AHV Nr. 6 S. 19, 9C_142/2010 E. 1).
4.3.2 Im konkreten Fall fällt eine Verjährung nur dann in Betracht, wenn die Ausgleichskasse mehr als zwei Jahre vor Erlass der Schadenersatzverfügung, mithin vor dem 11. September 2006, Kenntnis vom Schaden hatte.
4.3.3 Zum ordentlichen Verfahren gehört auch das Beitragsinkasso auf dem Weg der Zwangsvollstreckung (vgl. <ref-law>). Angesichts der Subsidiarität der Organhaftung war die Ausgleichskasse grundsätzlich gehalten, ausstehende Beiträge mindestens bis zur Konkurseröffnung über die Arbeitgeberin am 12. Oktober 2006 bei dieser und nicht beim Beschwerdeführer zu erheben. Der Schadeneintritt aus rechtlichen Gründen resp. die Kenntnis davon kann somit nicht vor Eröffnung des Konkurses angenommen werden.
Auch in Bezug auf tatsächliche Gründe kann der Beschwerdeführer nichts für sich ableiten. Die Argumentation, die Gesellschaft habe seit September 2005 infolge Zahlungsunfähigkeit keine Beiträge mehr entrichtet, bereits die Bilanz 2005 habe eine Überschuldung ausgewiesen und im Juli 2006 sei die Revisionsstelle zurückgetreten, zielt - soweit sie überhaupt den Tatsachen entspricht - ins Leere: Selbst eine direkte Mitteilung der Überschuldung durch die Arbeitgeberin an die Ausgleichskasse hätte keine fristauslösende Schadenskenntnis begründet, ist doch dazu stets eine offizielle Verlautbarung erforderlich (Urteil H 177/05 vom 13. Dezember 2006 E. 4.3 mit Hinweisen). Eine solche ist in keinem der Dokumente zu erblicken, die im Rahmen mehrerer Betreibungen auf Pfändung erstellt wurden. Ein definitiver Pfändungsverlustschein gemäss <ref-law> (vgl. <ref-ruling> E. 3 S. 256 ff.; MARCO REICHMUTH, Die Haftung des Arbeitgebers und seiner Organe nach <ref-law>, 2008, Rz. 830) ist nicht aktenkundig. Insbesondere ist entgegen der Auffassung des Beschwerdeführers <ref-law> nicht anwendbar auf die Urkunden über die Pfändung vom 28. April 2005. Diese beschlug drei Maschinen im Schätzwert von Fr. 60'000.-. Der Umstand, dass die in Betreibung gesetzten Forderungen den Schätzwert übertrafen, zieht keine Qualifikation der Pfändungsurkunden als (definitive) Verlustscheine nach sich. Schliesslich tut für die Schadenskenntnis durch die Ausgleichskasse nichts zur Sache, dass das Betreibungsamt angeblich zu geringe Abschlagszahlungen bewilligt haben soll. Die vorinstanzliche Feststellung, wonach auf ausstehende Beiträge bis zur Konkurseröffnung Abschlagszahlungen geleistet worden seien, ist nicht offensichtlich unrichtig und beruht nicht auf einer Rechtsverletzung, weshalb sie für das Bundesgericht verbindlich bleibt (E. 2), zumal namentlich aus drei Verwertungsbegehren vom 9. Dezember 2005 ersichtlich ist, dass jeweils mehr als ein Drittel der entsprechenden, in Betreibung gesetzten Forderungen beglichen worden war. Ein Auszug aus dem Betreibungsregister, wie ihn der Beschwerdeführer im vorinstanzlichen Verfahren einreichte, ist daher nicht geeignet, den Schadenseintritt zu belegen. Auch sonst geben die Unterlagen keinen Grund (vgl. REICHMUTH, a.a.O., Rz. 831) für die Annahme einer Schadenskenntnis vor der Konkurseröffnung. Die Vorinstanz ist daher zu Recht davon ausgegangen, dass die Schadenersatzforderung bei Erlass der Verfügung vom 11. September 2008 nicht verjährt war.
Auch in Bezug auf tatsächliche Gründe kann der Beschwerdeführer nichts für sich ableiten. Die Argumentation, die Gesellschaft habe seit September 2005 infolge Zahlungsunfähigkeit keine Beiträge mehr entrichtet, bereits die Bilanz 2005 habe eine Überschuldung ausgewiesen und im Juli 2006 sei die Revisionsstelle zurückgetreten, zielt - soweit sie überhaupt den Tatsachen entspricht - ins Leere: Selbst eine direkte Mitteilung der Überschuldung durch die Arbeitgeberin an die Ausgleichskasse hätte keine fristauslösende Schadenskenntnis begründet, ist doch dazu stets eine offizielle Verlautbarung erforderlich (Urteil H 177/05 vom 13. Dezember 2006 E. 4.3 mit Hinweisen). Eine solche ist in keinem der Dokumente zu erblicken, die im Rahmen mehrerer Betreibungen auf Pfändung erstellt wurden. Ein definitiver Pfändungsverlustschein gemäss <ref-law> (vgl. <ref-ruling> E. 3 S. 256 ff.; MARCO REICHMUTH, Die Haftung des Arbeitgebers und seiner Organe nach <ref-law>, 2008, Rz. 830) ist nicht aktenkundig. Insbesondere ist entgegen der Auffassung des Beschwerdeführers <ref-law> nicht anwendbar auf die Urkunden über die Pfändung vom 28. April 2005. Diese beschlug drei Maschinen im Schätzwert von Fr. 60'000.-. Der Umstand, dass die in Betreibung gesetzten Forderungen den Schätzwert übertrafen, zieht keine Qualifikation der Pfändungsurkunden als (definitive) Verlustscheine nach sich. Schliesslich tut für die Schadenskenntnis durch die Ausgleichskasse nichts zur Sache, dass das Betreibungsamt angeblich zu geringe Abschlagszahlungen bewilligt haben soll. Die vorinstanzliche Feststellung, wonach auf ausstehende Beiträge bis zur Konkurseröffnung Abschlagszahlungen geleistet worden seien, ist nicht offensichtlich unrichtig und beruht nicht auf einer Rechtsverletzung, weshalb sie für das Bundesgericht verbindlich bleibt (E. 2), zumal namentlich aus drei Verwertungsbegehren vom 9. Dezember 2005 ersichtlich ist, dass jeweils mehr als ein Drittel der entsprechenden, in Betreibung gesetzten Forderungen beglichen worden war. Ein Auszug aus dem Betreibungsregister, wie ihn der Beschwerdeführer im vorinstanzlichen Verfahren einreichte, ist daher nicht geeignet, den Schadenseintritt zu belegen. Auch sonst geben die Unterlagen keinen Grund (vgl. REICHMUTH, a.a.O., Rz. 831) für die Annahme einer Schadenskenntnis vor der Konkurseröffnung. Die Vorinstanz ist daher zu Recht davon ausgegangen, dass die Schadenersatzforderung bei Erlass der Verfügung vom 11. September 2008 nicht verjährt war.
4.4 4.4.1 Ist eine grobe Pflichtverletzung der Ausgleichskasse wie die Missachtung elementarer Vorschriften der Beitragsveranlagung und des Beitragsbezuges für die Entstehung oder Verschlimmerung des Schadens adäquat kausal, kann der Schadenersatz ermessensweise herabgesetzt werden (vgl. <ref-law> und Art. 4 des Bundesgesetzes vom 14. März 1958 über die Verantwortlichkeit des Bundes sowie seiner Behördemitglieder und Beamten [VG, SR 170.32]; <ref-ruling> E. 3c S. 189; Urteile 9C_228/2008 vom 5. Februar 2009 E. 4.2.3; H 18/07 vom 26. November 2007 E. 5.3).
4.4.2 Es trifft offensichtlich nicht zu, dass die Ausgleichskasse die Verwertung der gepfändeten Vermögenswerte nicht verlangt haben soll (vgl. REICHMUTH, a.a.O., Rz. 758), sind doch drei Verwertungsbegehren vom 9. Dezember 2005 aktenkundig. Diesbezüglich bewilligte indessen der zuständige Betreibungsbeamte am 16. Januar 2006 Aufschub gemäss <ref-law> (vgl. E. 4.3.3) und damit die Zahlung der Restschuld in zehn Raten. In Bezug auf die Pfändung vom 7. Juli 2006 kann ohnehin nicht von Pflichtverletzung gesprochen werden (vgl. <ref-law>). Weiter hat die Vorinstanz für das Bundesgericht verbindlich (E. 2) festgestellt, die Ausgleichskasse habe die unbezahlten Akontorechnungen jeweils gemahnt sowie die Betreibung innert Frist angehoben und die Arbeitgeberin habe "nach wie vor" Abschlagszahlungen in Höhe der vom Betreibungsamt gewährten Raten geleistet. Es wird zu Recht nicht geltend gemacht, die Ausgleichskasse sei im Sinne eines energischen Vorantreibens des Beitragsinkassos gehalten gewesen, etwa für die Arbeitgeberin die Konkurseröffnung nach <ref-law> zu verlangen (vgl. REICHMUTH, a.a.O., Rz. 763). Weshalb die Verwaltung verpflichtet gewesen sein sollte, ein "detailliertes Betreibungsregister einzufordern" und inwiefern die entsprechende Unterlassung für ihren Schaden adäquat kausal sein soll, ist nicht nachvollziehbar (vgl. E. 4.3.3).
Zwar ist dem Beschwerdeführer beizupflichten, dass im Falle eines Konkurses Pfandgläubiger (vgl. Art. 37 und <ref-law>) vorab aus dem Erlös der Pfandverwertung zu befriedigen sind (vgl. Art. 198 und Art. 219 Abs. 1 SchKG). Hingegen fallen die im Rahmen einer vorgängigen Pfändungsbetreibung (vgl. <ref-law>) gepfändeten und bei Konkurseröffnung noch nicht verwerteten Vermögenswerte in die Konkursmasse (<ref-law>) und die entsprechenden Forderungen werden nach <ref-law> in Klassen eingeteilt. Entgegen der Auffassung des Beschwerdeführers waren die Beitragsforderungen nicht pfandgesichert im Sinne von <ref-law>, weshalb sie korrekt als Forderungen zweiter Klasse kolloziert wurden (Art. 219 Abs. 4 Abschnitt 2 lit. a SchKG). Auch unter diesem Aspekt hat die Vorinstanz zu Recht eine grobe Pflichtverletzung der Ausgleichskasse beim Beitragsbezug verneint und damit die Herabsetzung des Schadenersatzes ausgeschlossen. Die Beschwerde ist unbegründet.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Februar 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann