Nichtbezahlung von FAK-Beiträgen), hat sich ergeben:
A.- Über die X._ AG in H._ wurde am 10. August 1994 der Konkurs eröffnet, worauf die Ausgleichskasse Nidwalden bei der Konkursverwaltung eine Forderung in der Höhe von Fr. 61'482. 70 eingab. Ihren Angaben gemäss beliefen sich die AHV/IV/EO/ALV-Beiträge sowie die Beiträge an die Familienausgleichskasse, welche die X._ AG in den Jahren 1990 bis 1994 schuldig geblieben war, zusammen mit Verwaltungskosten, Verzugszinsen und Mahngebühren auf diesen Betrag.
Nachdem das Konkursverfahren für alle Gläubiger zu einem Totalverlust geführt hatte, erklärte die Ausgleichskasse die früheren Verwaltungsräte der X._ AG schadenersatzpflichtig: Gestützt auf Art. 52 des Bundesgesetzes vom 20. Dezember 1946 über die Alters- und Hinterlassenenversicherung (AHVG; SR 831. 10) verpflichtete sie M.F._, A.M._ und C.M._ unter solidarischer Haftbarkeit zur Bezahlung von Fr. 61'482. 70 (Verfügung vom 12. Januar 1996).
Auf Einspruch der Betroffenen hin reichte die Ausgleichskasse fristgerecht Klage beim Verwaltungsgericht des Kantons Nidwalden ein. Dieses verurteilte M.F._, A.M._ und C.M._ am 25. November 1996 antragsgemäss zur Bezahlung von Fr. 61'482. 70 unter solidarischer Haftbarkeit.
B.- Soweit dieser Entscheid Beiträge an die Familienausgleichskasse Nidwalden betrifft, haben ihn M.F._ am 14. September 1998 (Verfahren 2P.313/1998) und A.M._ sowie C.M._ am 20. August 1998 (Verfahren 2P.284/1998) mit staatsrechtlichen Beschwerden beim Bundesgericht angefochten und seine Aufhebung beantragt. Gleichzeitig sind sie mit Verwaltungsgerichtsbeschwerden an das Eidgenössische Versicherungsgericht gelangt; sie haben diesem im Wesentlichen beantragt, soweit AHV/IV/EO/ALV-Beiträge in Frage stehen, den angefochtenen Entscheid aufzuheben und die Klage der Ausgleichskasse abzuweisen.
Am 5. Oktober 1998 hat der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts die bei diesem hängigen Verfahren sistiert, bis der Entscheid des Eidgenössischen Versicherungsgerichts vorliege. Dieses hat die Verwaltungsgerichtsbeschwerden von M.F._, A.M._ und C.M._ am 25. Juli 2000 teilweise gutgeheissen, den Entscheid des Verwaltungsgerichts Nidwalden - soweit die Beschwerdeführer zur Zahlung von "bundesrechtlichem Schadenersatz" verpflichtet wurden - aufgehoben und die Sache zu neuem Entscheid an die Vorinstanz zurückgewiesen (Verfahren H 228/98 und H 253/98).
In der Folge hat das Bundesgericht die sistierten Verfahren wieder aufgenommen (Präsidialverfügung vom 25. Oktober 2000) und die beteiligten Behörden zur Vernehmlassung aufgefordert. Die Ausgleichskasse Nidwalden beantragt Abweisung der staatsrechtlichen Beschwerden, soweit auf diese einzutreten sei, während das Verwaltungsgericht des Kantons Nidwalden auf Stellungnahme verzichtet hat.

Das Bundesgericht zieht in Erwägung:
1.- Die beiden staatsrechtlichen Beschwerden (Verfahren 2P.313/1998 und 2P.284/1998) sind zu vereinigen, da sie den gleichen Sachverhalt und das gleiche kantonale Urteil betreffen (<ref-law> in Verbindung mit Art. 40 OG).
2.-a) Die Beiträge, welche die X._ AG als Arbeitgeberin der Familienausgleichskasse Nidwalden zu bezahlen hatte, beruhen auf kantonalem Recht. Soweit der angefochtene Entscheid die Beschwerdeführer zur Leistung von Schadenersatz verpflichtet, weil diese Beiträge unbezahlt geblieben sind, liegt ein kantonal letztinstanzlicher Endentscheid vor, gegen den im Bund nur die staatsrechtliche Beschwerde offen steht (Art. 86 Abs. 1 und Art. 87 in Verbindung mit Art. 84 Abs. 2 OG). Mit diesem Rechtsmittel können einzig Verfassungsverletzungen gerügt werden, wes- halb die Anwendung von kantonalem Gesetzesrecht im Verfahren der staatsrechtlichen Beschwerde grundsätzlich nur unter dem Gesichtswinkel des Willkürverbots überprüft werden kann.
b) Auf die Eingaben der Beschwerdeführer, welche durch den angefochtenen Entscheid in rechtlich geschützten Interessen betroffen werden (vgl. Art. 88 OG), ist grundsätzlich (vgl. aber: anschliessend sowie E. 5c/bb) einzutreten.
Die staatsrechtliche Beschwerde muss die wesentlichen Tatsachen und eine kurzgefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Entscheid verletzt worden sind (Art. 90 Abs. 1 lit. b OG). Das Bundesgericht untersucht nicht von Amtes wegen, ob ein kantonaler Hoheitsakt verfassungsmässig ist, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 2 S. 3 f.; <ref-ruling> E. 1d S. 201, mit Hinweisen). Wird eine Verletzung des Willkürverbots (Art. 4 aBV) geltend gemacht, genügt es nicht, wenn der Beschwerdeführer bloss den angefochtenen Entscheid kritisiert, wie er dies in einem appellatorischen Verfahren tun könnte, bei dem die Rechtsmittelinstanz die Rechtsanwendung frei überprüfen kann. Er muss deutlich dartun, welche Vorschriften oder allgemein anerkannten Rechtsgrundsätze die kantonalen Behörden in einer gegen Art. 4 aBV verstossenden Weise verletzt haben sollen (<ref-ruling> E. 4b S. 12, mit Hinweis). Soweit die vorliegenden Beschwerdeschriften diesen Anforderungen nicht genügen (so beispielsweise jene des Beschwerdeführers 1 bezüglich der behaupteten Verletzungen des Rechts auf persönliche Freiheit, des Gleichbehandlungsgebots oder eines [angeblichen] Anspruchs auf eine Rechtsmittelinstanz "mit umfassender Kognition") ist darauf nicht einzugehen.
3.- a) Der Beschwerdeführer 1 macht zunächst geltend, ihm sei in Verletzung von Art. 6 Ziff. 1 EMRK eine öffentliche Verhandlung vorenthalten worden. Die angerufene Konventionsbestimmung räumt jedermann einen Anspruch darauf ein, dass eine ihn betreffende zivil- oder strafrechtliche Angelegenheit von einem Gericht öffentlich gehört wird. Damit soll jegliche Form von Kabinettsjustiz verhindert und dem Betroffenen wie der Allgemeinheit die Möglichkeit gegeben werden, den Prozess unmittelbar zu verfolgen (vgl. <ref-ruling> E. 4a S. 104; <ref-ruling> E. 2c S. 51, mit Hinweisen). Allerdings anerkennt die Rechtsprechung des Bundesgerichts, wie auch jene der Strassburger Organe, dass auf die Durchführung einer öffentlichen Verhandlung verzichtet werden kann. Ein entsprechender Verzicht wird insbesondere dann angenommen, wenn kein Antrag auf Durchführung einer öffentlichen Verhandlung gestellt wird, obwohl das angerufene Gericht in der Regel nicht öffentlich verhandelt (vgl. BGE <ref-ruling> E. 2d S. 52, mit Hinweisen). Wie bereits das Eidgenössische Versicherungsgericht betont hat, findet im erstinstanzlichen Sozialversicherungsprozess grundsätzlich nur dann eine öffentliche Verhandlung statt, wenn ein entsprechender Antrag klar und unmissverständlich gestellt wird. Da dies hier unstreitig nicht der Fall war, ist die Rüge auch insoweit nicht stichhaltig, als das Verfahren vor Verwaltungsgericht Beiträge an die Familienausgleichskasse betroffen hat.
b) Unbegründet ist weiter auch die Rüge, das Verwaltungsgericht habe den Anspruch des Beschwerdeführers 1 auf rechtliches Gehör (Art. 4 aBV; vgl. <ref-ruling> E. 2b S. 102 f.) dadurch verletzt, dass es ohne Begründung auf eine öffentliche Verhandlung verzichtet habe. Da es der Beschwerdeführer 1 unterlassen hat, einen entsprechenden Antrag zu stellen, bestand kein Anlass für eine dahingehende Begründung.
4.- a) Die X._ AG rechnete über ihre AHV/IV/EO-Beiträge mit der Ausgleichskasse Nidwalden ab; damit war sie von Gesetzes wegen verpflichtet, sich der Familienausgleichskasse Nidwalden anzuschliessen (Art. 3 Abs. 2 Ziff. 1 des [vorliegend noch anwendbaren] Nidwaldner Gesetzes vom 30. April 1972 über die Kinderzulagen [aKZG]; in Kraft bis zum 31. Dezember 1994). Bei dieser handelt es sich um eine selbständige öffentliche Anstalt mit eigener Rechtspersönlichkeit, deren Verwaltung aber gesetzlich der Ausgleichskasse Nidwalden übertragen ist (Art. 20 aKZG; vgl. auch Art. 12 des Nidwaldner Gesetzes vom 23. Oktober 1994 über die Kinderzulagen [nKZG] und § 18 Abs. 1 der dazugehörigen Vollziehungsverordnung vom 21. Dezember 1994 [nKZV]). Die Beiträge, welche die Arbeitgeber der Familienausgleichskasse zu bezahlen haben, werden nach der AHV-pflichtigen Lohnsumme bestimmt (Art. 11 Abs. 1 aKZG; Art. 15 nKZG) und machen 1,75 bzw. (heute) 1,7 Prozent davon aus (§ 18 der Vollziehungsverordnung vom 3. Dezember 1982 [aKZV], in der Fassung vom 12. Dezember 1990, bzw. § 14 Abs. 1 nKZV). Die Nidwaldner GesetzgebungzudenKinderzulagensiehtweitervor, dass - soweit sie selbst keine Regelung enthält - die Vorschriften über die Alters- und Hinterlassenenversicherung als ergänzendes Recht sinngemäss Anwendung finden (Art. 29 aKZG; vgl. § 18 Abs. 2 nKZV). Zudem verweist die Verordnung bezüglich Abrechnungsperioden, Mahnwesen, Vollstreckungsverfahren und Verzugszinsen ausdrücklich auf die "AHV-rechtlichen Bestimmungen" (§ 19 Abs. 2 aKZV; vgl. § 15 Abs. 2 nKZV).
b) aa) Das Verwaltungsgericht hat im angefochtenen Entscheid ausgeführt, nach seiner Praxis bestehe eine <ref-law> entsprechende Haftung der Arbeitgeber auch für Schäden der Familienausgleichskasse. Die Beschwerdeführer bestreiten die Verfassungsmässigkeit dieser Rechtsprechung; sie rügen, der pauschale Verweis auf die Gesetzgebung der Alters- und Hinterlassenenversicherung, den das kantonale Recht enthalte, stelle keine genügende gesetzliche Grundlage für ihre Haftung dar. Daraus wollen sie eine Verletzung der Eigentumsgarantie ableiten, indem sie Art. 29 aKZG als Grundlage für den (angeblichen) Grundrechtseingriff bemängeln. Es kann offen bleiben, ob und inwiefern die Eigentumsgarantie durch die Verpflichtung der Beschwerdeführer, Schadenersatz zu bezahlen, überhaupt berührt wird: So oder anders ist nur zu prüfen, ob die Auslegung des kantonalen Rechts, wie sie das Verwaltungsgericht vorgenommen hat, vor dem Willkürverbot von Art. 4 aBV stand hält (vgl. oben, E. 2a). Von der gängigen Praxis zum Willkürverbot (vgl. <ref-ruling> E. 4a S. 5, mit Hinweisen) abzuweichen, besteht, ungeachtet der vom Beschwerdeführer 1 vorgetragenen Kritik, kein Anlass.
bb) Art. 29 aKZG verweist nicht auf bestimmte Normen, sondern generell auf "die Vorschriften über die Alters- und Hinterlassenenversicherung". Es handelt sich somit nicht um eine statische, sondern um eine dynamische Verweisung. Solche sind in der Tat - besonders im Lichte des rechtsstaatlichen Bestimmtheitsgebots wie auch der demokratischen Zuständigkeitsordnung - problematisch, soweit das Recht, auf das verwiesen wird, Normen enthält, die aufgrund ihrer Bedeutung für die Rechtsstellung des Bürgers rechtssatzmässig festgelegt bzw. demokratisch legitimiert sein sollten. Das gilt jedenfalls dann, wenn der verweisende Gesetzgeber mit gewissen Änderungen des anderen Rechts nicht rechnen musste oder konnte. Die Rüge der Beschwerdeführer wäre daher möglicherweise begründet, wenn die Haftung des Arbeitgebers erst nach dem Erlass des kantonalen Kinderzulagengesetzes als völlig neue Regelung in das Recht der Alters- und Hinterlassenenversicherung eingeführt worden wäre. Aufgrund der Verweisung im kantonalen Recht wurde vorliegend jedoch <ref-law> angewendet, der seit 1948 unverändert im Bundesgesetz über die Alters- und Hinterlassenenversicherung enthalten ist und daher dem Nidwaldner Gesetzgeber beim Erlass des Kinderzulagengesetzes von 1972 bekannt war. Hinzu kommt die enge inhaltliche und verfahrensmässige Verbindung zwischen der eidgenössischen Gesetzgebung im Bereich der Alters- und Hinterlassenenversicherung und der kantonalen Regelung der Kinderzulagen, so dass die sinngemässe Anwendung von <ref-law> auf das kantonale Recht als naheliegend erscheint. Unter diesen Umständen beruht es jedenfalls nicht auf einer willkürlichen Auslegung des kantonalen Rechts, wenndasVerwaltungsgerichtgestütztauf§29aKZGauchArt. 52AHVGfüranwendbarerachtet.
c) Die Beschwerdeführer rügen weiter, das Verwaltungsgericht habe gegen das Willkürverbot verstossen, indem es der Ausgleichskasse Nidwalden auch Schadenersatz für Beiträge zugesprochen habe, welche der Familienausgleichskasse Nidwalden geschuldet würden. Im fraglichen Verfahren hätte die Aktivlegitimation einzig der Letzteren zukommen können. Den Beschwerdeführern ist insoweit Recht zu geben, als die Familienausgleichskasse mit eigener Rechtspersönlichkeit ausgestattet ist, weshalb allfällige Schadenersatzansprüche für nicht bezahlte Beiträge allein ihr zustehen. Allerdings hat der Nidwaldner Gesetzgeber ihre Verwaltung ausdrücklich der Ausgleichskasse übertragen (Art. 20 aKZG). Gegen aussen wird sie demnach durch diese vertreten, weshalb es naheliegend erscheint, dass die Ausgleichskasse gegebenenfalls auch in Gerichtsverfahren für sie handelt. Unter diesen Umständen ist es zwar nicht korrekt, wenn das Verwaltungsgericht den Schadenersatz für die Verluste der Familienausgleichskasse der klagenden Ausgleichskasse zuspricht, ohne auch im Rubrum zum Ausdruck zu bringen, dass die Klägerin insoweit nur als Vertreterin auftritt; geradezu offensichtlich unhaltbar und mithin willkürlich ist der angefochtene Entscheid deswegen jedoch nicht: Angesichts des entsprechenden Hinweises in der Begründung kann unter der als Partei genannten Ausgleichskasse Nidwalden ohne Zwang die Familienausgleichskasse Nidwalden verstanden werden, soweit der Entscheid Beiträge an diese betrifft. Die Beschwerdeführer haben in ihrer Eigenschaft als Verwaltungsräte der X._ AG auch über entsprechende Beiträge stets mit der Ausgleichskasse Nidwalden abgerechnet. Damit war allen Beteiligten klar, dass die Ausgleichskasse in diesem Bereich nicht eigene Ansprüche geltend machte, sondern in ihrer Funktion als gesetzliche Verwalterin der Familienausgleichskasse auftrat.
5.- a) Nach <ref-law> hat ein Arbeitgeber, der durch absichtliche oder grobfahrlässige Missachtung von Vorschriften einen Schaden verschuldet, diesen der Ausgleichskasse zu ersetzen. Ist der Arbeitgeber eine juristische Person, die zur Zeit der Geltendmachung der Schadenersatzforderung nicht mehr besteht, so können subsidiär gegebenenfalls die verantwortlichen Organe in Anspruch genommen werden (vgl. <ref-ruling> E. 5b S. 15, mit Hinweisen). Die Schadenersatzforderung "verjährt", wenn sie nicht innert Jahresfrist seit Kenntnis des Schadens durch Erlass einer Verfügung geltend gemacht wird, auf jeden Fall aber mit Ablauf von fünf Jahren seit Eintritt des Schadens (<ref-law>). Diese bundesrechtliche Regelung der Schadenersatzpflicht des Arbeitgebers wird durch die Verweisung in Art. 29 aKZG als kantonales Recht angewandt; dessen Auslegung durch das Verwaltungsgericht ist nur unter dem Gesichtswinkel der Willkür zu überprüfen.
b) aa) Der Beschwerdeführer 1 bringt vor, der Schadenersatzanspruch der Ausgleichskasse bzw. der Familienausgleichskasse Nidwalden sei verwirkt. Diese habe bereits im Oktober 1994 aus der Ankündigung, dass nur ein summarisches Konkursverfahren nach <ref-law> durchgeführt werde, ersehen müssen, dass sie zu Verlust kommen werde und mithin Kenntnis vom Schaden gehabt. Deshalb sei die Schadenersatzverfügung vom 12. Januar 1996 erst nach Ablauf der relativen Verwirkungsfrist von einem Jahr ergangen, was das Verwaltungsgericht in Verletzung des Willkürverbots verkannt habe. Diese Rüge ist unbegründet: Das Eidgenössische Versicherungsgericht hat in seinem Urteil vom 25. Juli 2000 - die bundesrechtlichen Sozialversicherungsbeiträge betreffend - festgestellt, dass auch bei Anordnung des summarischen Konkursverfahrens Kenntnis vom Schaden grundsätzlich erst im Zeitpunkt der Auflage des Kollokationsplans bestehe und im Fall der Beschwerdeführer keine Umstände gegeben seien, welche eine ausnahmsweise Vorverlegung dieses Zeitpunkts gebieten würden. Es gibt keinen Grund, die Verhältnisse anders zu beurteilen, soweit die Regelung von <ref-law> hier als kantonales Recht anzuwenden ist.
bb) Nicht stichhaltig sind die Ausführungen des Beschwerdeführers 1 ferner, soweit er vorbringt, die Schadenersatzforderung sei während der Rechtshängigkeit des Verfahrens verjährt. Er verkennt, dass es sich bei den Fristen von <ref-law> entgegen dem Wortlaut um Verwirkungsfristen handelt (vgl. <ref-ruling> E. 3b S. 388, mit Hinweis), die - anders als Verjährungsfristen - nicht unterbrochen werden können. Wird die Schadenersatzverfügung innerhalb eines Jahres nach Kenntnis des Schadens erlassen, so ist die relative Verwirkungsfrist ein für alle Mal gewahrt; sie beginnt ab diesem Datum nicht neu zu laufen. Deshalb ist unerheblich, ob tatsächlich seit der Fällung des angefochtenen Urteils bis zu dessen Eröffnung über ein Jahr lang keine "verjährungsunterbrechende Handlung" vorgenommen worden ist.
c) aa) Der Beschwerdeführer 1 macht weiter geltend, weder ein haftbares Organ der X._ AG gewesen zu sein, noch den eingetretenen Schaden absichtlich oder grobfahrlässig verursacht zu haben. Soweit er in diesem Zusammenhang rügt, das Verwaltungsgericht habe den rechtserheblichen Sachverhalt in Verletzung des Willkürverbots festgestellt (vgl. <ref-ruling> E. 1b S. 30, mit Hinweisen), sind seine Ausführungen nicht stichhaltig: Es ist unstreitig, dass der Beschwerdeführer 1 Verwaltungsrat der X._ AG war. Die Frage, ob er - trotz eines gemäss interner Regelung beschränkten Aufgabenbereichs - als Organ im Sinne der Rechtsprechung zu <ref-law> zu betrachten ist, stellt eine Rechtsfrage dar. Gleiches gilt für die Beurteilung seines Verschuldens oder die Frage, ob zwischen dem Nichtbezahlen der Beiträge und dem Schadenseintritt ein adäquater Kausalzusammenhang besteht. In Bezug auf diese rechtlichen Erörterungen des Beschwerdeführers 1 kann auf das Urteil des Eidgenössischen Versicherungsgerichts verwiesen werden. Es hat den angefochtenen Entscheid insofern bestätigt, weshalb hier von einer Verletzung des Willkürverbots keine Rede sein kann: Wenn eine freie Prüfung ergibt, dass das Verwaltungsgericht <ref-law> bundesrechtskonform angewandt hat, so kann nicht die gleiche Bestimmung als kantonales Recht willkürlich gehandhabt worden sein. Gleiches gilt betreffend die Behauptung des Beschwerdeführers 1, es verstosse gegen das Willkürverbot, die Haftung der Verwaltungsräte nicht nach deren Verschulden zu individualisieren.
bb) Der Beschwerdeführer 1 rügt schliesslich, das Verwaltungsgericht habe den Grundsatz der derogatorischen Kraft des Bundesrechts (Art. 2 ÜbBest. aBV) verletzt; zur Begründung bringt er vor, es werde die zivilrechtliche Natur der Haftung verkannt, weil dem ausservertraglichen Haftpflichtrecht die Anwendung versagt werde. Nachdem er diese Ansicht erstmals im Verfahren vor Bundesgericht vertritt, handelt es sich bei der entsprechenden Rüge um ein unzulässiges Novum, auf das nicht weiter einzugehen ist (vgl. Walter Kälin, Das Verfahren der staatsrechtlichen Beschwerde, 2. Auflage, Bern 1994, S. 369 f.). Diese Rüge wäre im Übrigen, wie das Eidgenössische Versicherungsgericht zutreffend dargelegt hat, ohnehin unbegründet.
d) aa) Das Eidgenössische Versicherungsgericht hat allerdings erkannt, die Höhe des Schadens, den die Ausgleichskasse erlitten habe, sei nicht nachgewiesen; es hat deshalb den angefochtenen Entscheid teilweise aufgehoben und die Sache zur "masslichen Bestimmung" des von den Beschwerdeführern geschuldeten Schadenersatzes an das Verwaltungsgericht des Kantons Nidwalden zurückgewiesen. Vorliegend rügen die Beschwerdeführer im gleichen Zusammenhang, die Ausgleichskasse Nidwalden habe den Schaden, welcher der Familienausgleichskasse entstanden sei, nicht substantiiert; es sei weder nachvollziehbar, wie sich der eingeklagte Gesamtbetrag von Fr. 61'482. 70 zusammensetze, noch welcher Teil davon im Namen der Familienausgleichskasse verlangt werde. Deshalb verstosse gegen das Willkürverbot, dass sie zur Bezahlung des fraglichen Betrags verurteilt worden seien.
Diese Rüge ist stichhaltig: Das Verwaltungsgericht hat verkannt, dass es von einer Überprüfung der Höhe der Schadenersatzforderung nur dann (grundsätzlich) entbunden ist, wenn diese auf formell rechtskräftigen Nachzahlungsverfügungen beruht (vgl. Urteil des Eidgenössischen Versicherungsgerichts vom 23. November 1990 in: ZAK 1991 S. 126). Nachdem vorliegend unklar ist, ob und inwieweit die unbezahlt gebliebenen Beiträge überhaupt mit Verfügung eingefordert worden sind, hätte sich das Verwaltungsgericht zu Höhe und Zusammensetzung des Schadens äussern müssen. Wie die Beschwerdeführer zu Recht vorbringen, ist es unhaltbar, dass im angefochtenen Entscheid nicht einmal zwischen den bundesrechtlichen AHV/IV/EO/ALV-Beiträgen und den Beiträgen an die Familienausgleichskasse unterschieden wird; dies umso mehr, als die Familienausgleichskasse im Entscheid nicht ausdrücklich als Partei erscheint.
Unter den gegebenen Umständen fehlt es dem Verwaltungsgerichtsurteil bezüglich der Schadensberechnung an der erforderlichen Transparenz. Dieses ist - nachdem das Eidgenössische Versicherungsgericht bereits den bundesrechtlichen Teil aufgehoben hat - auch insoweit zu kassieren, als es die Beschwerdeführer zur Bezahlung von Schadenersatz für Beiträge an die Familienausgleichskasse verpflichtet. Demnach kann offen bleiben, ob sich das Verwaltungsgericht zu wenig mit den diesbezüglichen Vorbringen der Beschwerdeführer auseinander gesetzt und so (ebenfalls) deren Anspruch auf rechtliches Gehör verletzt hat.
bb) Über die Zusammensetzung der streitigen Forderung wird in einem neuen Verfahren zu befinden sein. Dieses wird zeigen, ob und inwieweit die Ausgleichskasse auch Schadenersatz für Beiträge verlangt, deren Zahlungsfrist bei Konkurseröffnung noch nicht abgelaufen war. Die von den Beschwerdeführern in diesem Zusammenhang erhobenen Rügen brauchen hier (noch) nicht beurteilt zu werden. Immerhin sei darauf hingewiesen, dass das Eidgenössische Versicherungsgericht die Haftpflicht auch bezüglich jener Sozialversicherungsbeiträge bejaht hat, die vor Konkurseröffnung fällig geworden sind, deren Zahlungsfrist aber noch am laufen war.
6.- Nach dem Gesagten dringen die Beschwerdeführer mit ihrem Antrag formell durch; sachlich sind sie aber weitgehend unterlegen, weshalb es sich rechtfertigt, ihnen zusammen drei Viertel und der Ausgleichskasse Nidwalden einen Viertel der Gerichtsgebühr aufzuerlegen (Art. 156, Art. 153 und Art. 153a OG). Den Beschwerdeführern ist ausserdem - angesichts des nur teilweisen Obsiegens - eine reduzierte Parteientschädigung auszurichten (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verfahren 2P.313/1998 und 2P.284/1998 werden vereinigt.
2.- Die staatsrechtlichen Beschwerden werden, soweit auf sie einzutreten ist, teilweise gutgeheissen, und das Urteil des Verwaltungsgerichts Nidwalden vom 25. November 1996 wird aufgehoben, soweit es die Schadenersatzpflicht wegen Nichtbezahlung von Beiträgen an die Familienausgleichskasse Nidwalden betrifft.
3.- Die Gerichtsgebühr von insgesamt Fr. 4'000. -- wird zu einem Viertel dem Beschwerdeführer 1, zur Hälfte (unter solidarischer Haftbarkeit) den Beschwerdeführern 2 und 3 sowie zu einem Viertel der Ausgleichskasse Nidwalden auferlegt.
4.- Die Ausgleichskasse Nidwalden hat den Beschwerdeführer 1 mit Fr. 1'000. -- und die Beschwerdeführer 2 und 3 mit je Fr. 500. -- für das bundesgerichtliche Verfahren zu entschädigen.
5.- Dieses Urteil wird den Parteien sowie dem Verwaltungsgericht des Kantons Nidwalden (Versicherungsgericht) schriftlich mitgeteilt.
_
Lausanne, 21. Februar 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: