Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. <ref-ruling> Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
2.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter
Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3.- Im vorinstanzlichen Entscheid werden die in materiellrechtlicher Hinsicht massgebenden rechtlichen Grundlagen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) sowie die Rechtsprechung zur subsidiären Haftbarkeit der Organe (vgl. statt vieler auch <ref-ruling> Erw. 5b), zur Haftungsvoraussetzung des zumindest grobfahrlässigen Verschuldens (vgl. ergänzend <ref-ruling> Erw. 1b, 193 Erw. 2b) sowie zu den Gründen, welche die vorübergehende Zurückbehaltung der Sozialversicherungsbeiträge zu rechtfertigen oder zu entschuldigen vermögen (<ref-ruling> Erw. 1b; ZAK 1988 S. 600 Erw. 5c mit Hinweisen; vgl. auch ZAK 1992 S. 247 Erw. 4a und b) zutreffend wiedergegeben. Darauf kann verwiesen werden.
4.- a) Wie das kantonale Gericht verbindlich festgestellt hat (vgl. Erw. 2 hievor), lieferte die konkursite Gesellschaft die für den Zeitraum Mai 1996 bis März 1998 geschuldeten paritätischen Sozialversicherungsbeiträge nicht vollständig ab. Damit verstiess sie gegen die Beitragszahlungs- und Abrechnungspflicht und missachtete dadurch Vorschriften im Sinne von <ref-law>. Strittig ist vorliegend einzig, ob ausserordentliche Umstände im Sinne der in Erw. 3 a.E. angeführten Rechtsprechung vorliegen, welche es rechtfertigen, dass die in der Folge in Konkurs gefallene Firma ausstehende Beiträge für einen Zeitraum von annähernd zwei Jahren nurmehr höchst unvollständig bezahlte. Dabei ist massgebend, ob die Arbeitgeberin im Zeitpunkt, da die jeweiligen Beiträge fällig wurden (vgl. <ref-law>), auf Grund der objektiven Umstände und einer seriösen, sachgerechten Beurteilung der Lage damit rechnen durfte, dass die im Hinblick auf die Existenzsicherung des Unternehmens nicht bezahlten Forderungen der Ausgleichskasse innert nützlicher Frist hätten bezahlt werden können.
b) Vor dem Hintergrund der zugestandenermassen seit 1993 schlechten finanziellen Situation, der im Frühjahr 1995 "sehr angespannten Liquiditätslage" (Sanierungskonzept der kreditgebenden Bank X._ vom 28. Februar 1995) sowie der Einschätzung der Fachleute der Bank X._, wonach "letztmalige Sanierungsbemühungen anfangs 1998 schlussendlich an der fehlenden Liquidität gescheitert seien" (Schreiben vom 29. Januar 1999), ist das Vorliegen eines besonderen - bloss vorübergehenden - Liquiditätsengpasses zu verneinen (ZAK 1992 S. 248 Erw. 4b; ZAK 1988 600 Erw. 5c in fine). Soweit die Vorinstanz weiter die schwierige Konjunktursituation, die problematische Beteiligung von damals noch 60 % an der D._ AG und das Fehlen neuer Kreditgeber als Ursachen für die Schwierigkeiten - insbesondere die Liquiditätsprobleme - und letztlich den Konkurs der Gesellschaft - anführt, sind die diesbezüglichen Feststellungen tatsächlicher Natur und für das Eidgenössische Versicherungsgericht verbindlich (Art. 105 Abs. 2 OG). Dem kantonalen Gericht ist grundsätzlich darin beizupflichten, wenn es davon ausgeht, bei nicht bloss vorübergehenden Liquiditätsproblemen sei die Nichtleistung paritätischer Beiträge regelmässig nicht geeignet, den Weiterbestand der Gesellschaft langfristig zu sichern. Mit Blick darauf, dass auf Grund der genannten, objektiven Umstände und einer seriösen, sachgerechten Beurteilung der Lage jedenfalls nicht damit gerechnet werden durfte, dass die Forderungen der Ausgleichskasse innert nützlicher Frist bezahlt werden könnten, sondern die hohe Wahrscheinlichkeit eines Scheiterns der Sanierungsbemühungen im Raume stand, mangelt es im Lichte der angeführten Rechtsprechung (vgl. Erw. 3 a.E.) jedenfalls an einem entsprechenden Rechtfertigungs- oder Entschuldigungsgrund.
Das letztinstanzlich erneuerte Vorbringen des Beschwerdeführers, die bei der Sanierung federführende Bank X._ habe sich im Rahmen der im Frühjahr 1995 getroffenen Massnahmen verpflichtet, die Lohnzahlungen bis 31. März 1998 zu garantieren, findet in den Akten - namentlich im Sanierungskonzept vom 28. Februar 1995 - keine Stütze. Hätte die Bank X._ eine entsprechende, die paritätischen Beiträge einschliessende Verpflichtung eingegangen, wäre der Schaden der Ausgleichskasse ohne weiteres vermeidbar gewesen. Soweit die Bank X._ nur für die Nettolöhne garantierte oder - entgegen dem Beschwerdeführer - in keiner Weise für die Löhne einstand, ist darauf hinzuweisen, dass gerade in Zeiten mit schwierigem wirtschaftlichem Umfeld nur soviel Lohn ausbezahlt werden darf, als die darauf unmittelbar ex lege entstandenen Beitragsforderungen gedeckt sind (SVR 1995 AHV Nr. 70 S. 214 Erw. 5). Dies gilt umso mehr, wenn die verantwortlichen Organe wie hier im Zeitpunkt der Nichtleistung der Beitragsausstände bei seriöser Beurteilung der Lage anhand objektiver Kriterien nicht ernsthaft damit rechnen konnten, durch das vorübergehende Nichtbezahlen der Sozialversicherungsbeiträge die weitere Existenz des Betriebes zu sichern und die Beitragsschuld innert nützlicher Frist später begleichen zu können, um damit auch die Ausgleichskasse vor Schaden zu bewahren. Ebenso wenig zu entlasten vermag den Beschwerdeführer sodann, dass er sich im Rahmen der im Februar 1995 getroffenen Sanierungsmassnahmen auch mit privaten Mitteln engagierte und die Gesellschaft wiederholt beim Betreibungsamt um Aufschub der Verwertung (gemäss <ref-law>) nachgesucht hatte. Mit der Vorinstanz ist das Vorliegen der Leistungspflicht entgegenstehender Rechtfertigungs- und Schuldausschlussgründendemnachzuverneinen.
Mangels entsprechender Rügen in der Verwaltungsgerichtsbeschwerde sowie Anhaltspunkten in den Akten ist im Übrigen nicht näher zu prüfen, wie es sich mit den weiteren Haftungsvoraussetzungen (wie Schaden, Organstellung, Verschulden des Organs etc. ) verhält (<ref-ruling>).
5.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Entsprechend dem Ausgang des Prozesses gehen die Kosten zu Lasten des unterliegenden Beschwerdeführers (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG), dem damit auch kein Anspruch auf Parteientschädigung zusteht (Art. 159 Abs. 1 e contrario in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
II. Die Gerichtskosten von Fr. 6'000. - werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen, dem Bundesamt für Sozialversicherung und M._ zugestellt.
Luzern, 29. Juni 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: