Sachverhalt:
Mit Verfügungen vom 16. Mai 2002 verpflichtete die Ausgleichskasse des Schweizerischen Baumeisterverbandes G._ und B._, Verwaltungsratsmitglieder der in Konkurs gefallenen Firma M._ AG für nicht mehr erhältliche Sozialversicherungsbeiträge zuzüglich Verzugszinsen, Mahngebühren und Betreibungskosten Schadenersatz im Ausmass vom Fr. 42'040.15 bzw. Fr. 72'521.60 zu leisten, dies in solidarischer Haftbarkeit bis zum kleineren der beiden Beträge.
Auf Einspruch der zwei Belangten klagte die Kasse auf Bezahlung der erwähnten Summen. Mit Entscheid vom 23. Mai 2003 hiess das Obergericht des Kantons Schaffhausen die Klagen im Umfang von Fr. 32'587.45 (G._) bzw. Fr. 62'874.35 (B._) gut, dies unter solidarischer Haftung beider bis zum kleineren Betrag.
G._ und B._ lassen Verwaltungsgerichtsbeschwerde führen und beantragen, es seien der kantonale Entscheid aufzuheben und die Klagen der Kasse abzuweisen.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Das kantonale Gericht hat unter Hinweis auf Gesetz (Art. 52 AHVG) und Rechtsprechung (vgl. statt vieler <ref-ruling> Erw. 5a) die Voraussetzungen zutreffend dargelegt, unter welchen Organe juristischer Personen den der Ausgleichskasse wegen Missachtung der Vorschriften über die Beitragsabrechnung und -zahlung (Art. 14 Abs. 1 AHVG; Art. 34 ff. AHVV) qualifiziert schuldhaft verursachten Schaden zu ersetzen haben. Sodann trifft zu, dass ATSG und ATSV auf den vorliegenden Fall nicht anwendbar sind. Darauf wird verwiesen.
2. Das kantonale Gericht hat unter Hinweis auf Gesetz (Art. 52 AHVG) und Rechtsprechung (vgl. statt vieler <ref-ruling> Erw. 5a) die Voraussetzungen zutreffend dargelegt, unter welchen Organe juristischer Personen den der Ausgleichskasse wegen Missachtung der Vorschriften über die Beitragsabrechnung und -zahlung (Art. 14 Abs. 1 AHVG; Art. 34 ff. AHVV) qualifiziert schuldhaft verursachten Schaden zu ersetzen haben. Sodann trifft zu, dass ATSG und ATSV auf den vorliegenden Fall nicht anwendbar sind. Darauf wird verwiesen.
3. Streitig und zu prüfen ist die Schadenersatzpflicht beider Beschwerdeführer.
3.1 Es fehlen Anhaltspunkte, dass die Vorinstanz den massgebenden Sachverhalt bundesrechtswidrig festgestellt haben könnte, weshalb das Eidgenössische Versicherungsgericht daran gebunden ist (Erw. 1 hievor). Hinsichtlich des Verschuldens hat die Vorinstanz die Grobfahrlässigkeit bei den zwei Beschwerdeführern zu Recht bejaht. In der Tat sind keine Exkulpationsgründe ersichtlich. Dass die Beschwerdeführer, die seit 1994 Verwaltungsräte der Firma waren, nach eigenen Angaben in der kantonalen Klageantwort erst spät begannen, sich ernstlich mit der finanziellen Lage zu befassen, ist als grobfahrlässige Passivität zu werten (ZAK 1989 S. 104). Als Verwaltungsräte eines kleinen Betriebs mit übersichtlichen Strukturen hatten sie sich von allem Anfang an zu vergewissern, dass die ausstehenden Beiträge bezahlt wurden. Schon 1999 mussten beide eine Rangrücktrittserklärung unterschreiben, um die Fortführung der Firma zu ermöglichen. Es lag also keine bloss vorübergehender Engpass vor. Daran ändern auch die angeblich aussichtsreichen Verhandlungen mit der K._ AG nichts, zumal die entsprechenden Belege lediglich Parteibehauptungen der Beschwerdeführer darstellen. Unter solchen Umständen kann sich der Beschwerdeführer G._ mit dem Austritt aus dem Verwaltungsrat auf Ende April 2001 nicht für die bisher angelaufenen Beitragsausstände exkulpieren. Die Zahlungssperre der Bank X._ entlastet die Beschwerdeführer nicht, weisen sie doch keinerlei Bemühungen nach, mit welchen sie zumindest versucht hätten, die Bank trotz allem zur Zahlung der Sozialversicherungsbeiträge zu bewegen. Eine Entlastung in derartigen Situationen kommt aber nur dann in Betracht, wenn die Organe nachweisen, dass sie alles ihnen Mögliche und Zumutbare für die Begleichung der Beiträge unternommen haben (Urteil M. vom 12. Februar 2003, H 169/02). Solches ist vorliegend nicht dargetan. Ebenfalls nicht entschuldigen können sich die Beschwerdeführer mit der angeblichen Gebundenheit an die Weisungen der Sachwalterin. Einerseits fehlen jegliche Hinweise dafür, dass diese Zahlungen an die Ausgleichskasse hätte unterbinden wollen, anderseits hätte es an den Beschwerdeführern gelegen, sich gegebenenfalls für derartige Überweisungen einzusetzen.
3.2 In Bezug auf das Ausmass des geschuldeten Schadenersatzes hat die Vorinstanz mit einlässlicher Begründung dargelegt, weshalb die Kasse ihre Forderung mit den im Klageverfahren eingereichten Akten hinreichend substantiiert hat. Darauf wird verwiesen. Dass die Kopien einiger Kassenakten nicht das Originaldatum tragen, sondern dasjenige des Tages, an welchem sie ausgedruckt worden sind, hat die Kasse in nachvollziehbarer Weise mit den Eigenheiten ihres Informatiksystems erklärt. Am Umfang des Schadenersatzes ändern diese Daten nichts. Zudem reichten die Beschwerdeführer keinerlei Unterlagen ein, in welchen sich Anhaltspunkte für allfällige Unrichtigkeiten bei den von der Ausgleichskasse erstellten Berechnungen finden liessen. Ebenso machen sie selbst nicht geltend, jemals eine Anpassung der Monatspauschalen beantragt zu haben.
3.3 Die Beschwerdeführer verlangen sodann, dass Dispositiv-Ziffer 1 des kantonalen Entscheides abzuändern sei. Dadurch werden die beiden verpflichtet, der Kasse Fr. 32'587.45 (G._) und Fr. 62'874.35 (B._) zu bezahlen, wobei beide für den Betrag von Fr. 32'587.45 solidarisch haften. Das bedeutet, dass die Kasse gegen beide Beschwerdeführer auf Bezahlung des kleineren Beitrages vorgehen, diesen aber insgesamt nur einmal einkassieren kann, während für die Differenz zum grösseren Betrag nur B._ einzustehen hat. Hingegen ist diese Dispositiv-Ziffer nicht in dem Sinne zu verstehen, dass die beiden Beträge zu addieren wären und die Kasse daher insgesamt über Fr. 95'000.- einziehen könnte.
Sodann ist klar, dass die Kasse auch ohne Änderung des Dispositivs allfällige Konkursdividenden an die Schadenersatzforderung anrechnen wird. Von einer Verletzung des Anspruchs auf rechtliches Gehör kann daher nicht gesprochen werden.
Sodann ist klar, dass die Kasse auch ohne Änderung des Dispositivs allfällige Konkursdividenden an die Schadenersatzforderung anrechnen wird. Von einer Verletzung des Anspruchs auf rechtliches Gehör kann daher nicht gesprochen werden.
4. Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Die unterliegenden Beschwerdeführer haben die Gerichtskosten zu tragen (Art. 156 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von total Fr. 4000.- werden den Beschwerdeführern auferlegt und mit den geleisteten Kostenvorschüssen verrechnet. Der Differenzbetrag von Fr. 3000.- wird den Beschwerdeführern anteilsmässig (4/7:3/7) zurückerstattet.
2. Die Gerichtskosten von total Fr. 4000.- werden den Beschwerdeführern auferlegt und mit den geleisteten Kostenvorschüssen verrechnet. Der Differenzbetrag von Fr. 3000.- wird den Beschwerdeführern anteilsmässig (4/7:3/7) zurückerstattet.
3. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 5. Dezember 2003
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer: Der Gerichtsschreiber: