A.- Mit Verfügung vom 9. August 2000 verpflichtete die Ausgleichskasse Luzern A._ und B._ Verwaltungsratsmitglieder der in Konkurs gefallenen Firma M._ AG für nicht mehr erhältliche Sozialversicherungsbeiträge zuzüglich Verzugszinsen, Betreibungskosten und Mahngebühren Schadenersatz im Ausmass von Fr. 80'943.- zu leisten.
B.- Auf Einspruch beider Belangten hin klagte die Kasse auf Bezahlung des erwähnten Betrages. Im Verlauf des Verfahrens einigten sich die Parteien auf einen Vergleich.
Mit Entscheid vom 16. Januar 2001 schrieb das Verwaltungsgericht des Kantons Luzern beide Klagen als durch Vergleich erledigt vom Geschäftsverzeichnis ab.
C.- Das Bundesamt für Sozialversicherung (BSV) führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der kantonale Entscheid sei aufzuheben, und die Sache sei zu neuer Beurteilung an das kantonale Gericht zurückzuweisen.
A._ und die Ausgleichskasse schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. B._ verzichtet auf eine Vernehmlassung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. BGE 119 V 80 Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
b) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Das BSV bringt vor, nach der Rechtsprechung hätten kantonale Gerichte die ihnen unterbreiteten Vergleiche auf die Übereinstimmung mit Tatbestand und Gesetz zu prüfen.
Darunter könne nur das Vorliegen der Haftungsvoraussetzungen verstanden werden, welche nach dem AHVG die Schadenersatzpflicht nach sich zögen. Die Vorinstanz hingegen habe dem Vergleich deshalb zugestimmt, weil sich die Beklagten in einer misslichen finanziellen Lage befunden hätten. Dies sei unzulässig, da solche Gründe nicht mit "Tatbestand und Gesetz" übereinstimmten. Bei finanziellen Engpässen biete das SchKG den Belangten genügend Schutz vor zu harter Inanspruchnahme.
Im Weiteren erhebt das BSV grundsätzliche Einwände gegen den Abschluss von Vergleichen in Schadenersatzprozessen nach Art. 52 AHVG. Verträge über die Regelung öffentlich-rechtlicher Abgabe- oder Schadenersatzpflichten bedürften mindestens in jenen Fällen einer gesetzlichen Grundlage, in welchen der Abgabenminderung oder -befreiung nicht mindestens gleichwertige Leistungen des Privaten gegenüberständen.
Eine solche gesetzliche Grundlage fehle für Vergleiche der vorliegenden Art. Solange diese Vereinbarungen zulässig blieben, ständen die Prinzipien der Gesetzmässigkeit und der Gleichbehandlung auf dem Spiel. Um ein Abgleiten in Willkür und Ungleichbehandlung zu verhindern, habe das BSV die Ausgleichskassen angewiesen, generell keinen Vergleichen zuzustimmen. Da nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts solche jedoch weiterhin erlaubt seien, hielten sich die Ausgleichskassen teilweise nicht an die Weisungen des BSV, wodurch dessen Aufsichtstätigkeit verunmöglicht werde. Die Folge sei eine von Kanton zu Kanton unterschiedliche Praxis.
3.- a) Zu den grundsätzlichen Überlegungen des BSV hat sich das Eidgenössische Versicherungsgericht bereits mehrfach geäussert. Dabei hat es trotz des vom BSV wiederholt erhobenen Einwandes der angeblich fehlenden gesetzlichen Grundlage Vergleiche im Schadenersatzprozess nach Art. 52 AHVG für zulässig erklärt (AHI 1999 S. 206; SVR 1996 AHV Nr. 74 S. 223; Urteile G. vom 16. Februar 2000, H 155/99, E. vom 24. Juni 1999, H 314/98, und A. vom 16. Juni 1999, H 162/98). Ferner hat das Gericht ausdrücklich festgehalten, es stehe einem Vergleich auch nicht entgegen, dass die Schadenersatzpflicht keinen Herabsetzungsgründen zugänglich sei (AHI 1999 S. 208 Erw. 2b; SVR 1996 AHV Nr. 74 Erw. 3a in fine; erwähntes Urteil A.).
b) Das BSV verlangt eine Praxisänderung, indem es geltend macht, die Zulassung von Vergleichen führe zu willkürlichen Ungleichbehandlungen und verunmögliche ihm seine Aufsichtstätigkeit. Diese Befürchtungen sind jedoch unbegründet.
Wohl steht den an den Vergleichsverhandlungen beteiligten Parteien ein grosser Spielraum zur Verfügung, wozu auch gehört, dass sie einen Vergleich eingehen oder auch ablehnen können. Dass eine Kasse einem Vergleich zustimmt, eine andere einen solchen verwirft und die in den Vergleichen festgehaltenen Regelungen von Fall zu Fall unterschiedlich sein können, liegt in der Natur der Sache, ohne dass deswegen von Ungleichbehandlung und Willkür gesprochen werden müsste. Vergleiche in Schadenersatzprozessen nach Art. 52 AHVG müssen einerseits den kantonalen Gerichten zur Prüfung und Genehmigung vorgelegt werden und können anderseits von den Parteien noch wegen Verfahrens- oder Willensmängeln und von nicht beteiligten Dritten wie dem BSV auch materiell angefochten werden (SVR 1996 AHV Nr. 74 S. 223 Erw. 2b). Dies bietet genügend Rechtsschutz gegen willkürliche Ergebnisse. Dass Ausgleichskassen in rechtsprechungskonformer Weise Vergleiche eingehen, wird das BSV im Rahmen seiner Aufsichtstätigkeit hinzunehmen haben. Soweit das BSV mit seiner der bundesgerichtlichen Rechtsprechung widersprechenden Weisung an die Ausgleichskasse, Vergleichen nicht zuzustimmen, selber zu einer von Kanton zu Kanton unterschiedlichen Praxis beiträgt, hat es das selber zu vertreten. Die vom Bundesamt angeführten Argumente erfüllen nach dem Gesagten die Voraussetzungen für eine Praxisänderung (BGE 124 V 124 Erw. 6a, 387 Erw. 4c, je mit Hinweisen) nicht, weshalb die bisherige Rechtsprechung zu bestätigen ist.
c) Im vorliegenden Fall bemängelt das BSV sodann, dass die Vorinstanz unzulässigerweise die schwierige finanzielle Situation der Belangten bei der Genehmigung des Vergleichs berücksichtigt habe.
Nach der Rechtsprechung muss ein Gericht einen grundsätzlich zulässigen Vergleich im Prozess nach Art. 52 AHVG auf die Übereinstimmung mit Tatbestand und Gesetz prüfen, den Abschreibungsbeschluss jedoch nicht begründen (AHI 1999 S. 208 Erw. 2b; SVR 1996 AHV Nr. 74 S. 223 Erw. 2b mit Hinweisen).
Die Begründung des kantonalen Abschreibungsbeschlusses lässt erkennen, dass die Vorinstanz sich die Sache nicht leicht gemacht und den Vergleich nicht ohne vorherige Prüfung des Falles genehmigt hat. Damit ist den Erfordernissen der Rechtsprechung Genüge getan, ohne dass abschliessend geprüft werden müsste, ob die finanziellen Engpässe von mit Schadenersatzforderungen konfrontierten Personen bei der Prüfung von Vergleichen wirklich nicht in die Überlegungen der Gerichte einbezogen werden dürfen.
Immerhin hat das Eidgenössische Versicherungsgericht im erwähnten Urteil E. einen Vergleich bestätigt, in welchem die finanziellen Schwierigkeiten des Schadenersatzpflichtigen erwähnt worden sind.
4.- Der Prozess ist an sich kostenpflichtig (Art. 134 OG e contrario), wobei angesichts des Verfahrensausgangs die Kosten dem BSV als unterliegender Partei aufzuerlegen wären (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG). Dennoch können vom Bundesamt vorliegend keine Gerichtskosten erhoben werden, weil das Amt bzw. der von ihm vertretene Bund am Verfahrensausgang kein eigenes Vermögensinteresse hat (Art. 156 Abs. 2 OG). Dem nicht anwaltlich vertretenen Beschwerdegegner A._ ist keine Parteientschädigung zuzusprechen.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit
darauf einzutreten ist.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Abgaberechtliche Abteilung, und der Ausgleichskasse Luzern zugestellt.
Luzern, 30. Januar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: