Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. <ref-ruling> Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
2.- Im vorinstanzlichen Entscheid werden die nach <ref-law> und der Rechtsprechung für die Schadenersatzpflicht des Arbeitgebers und seiner Organe geltenden Grundsätze zutreffend dargelegt, sodass darauf verwiesen werden kann (vgl. auch <ref-ruling> Erw. 5b mit Hinweisen).
3.- Streitig und zu prüfen ist, ob der Beschwerdeführer den der Ausgleichskasse entstandenen Schaden als subsidiär haftendes Organ der konkursiten Gesellschaft grobfahrlässig verursacht hat.
a) Der Beschwerdeführer macht zunächst geltend, er habe über keinerlei Geschäftsführungsbefugnisse verfügt und sei insbesondere nicht befugt gewesen, Zahlungen auszuführen. Er beruft sich auf den Mandatsvertrag vom 28. Dezember 1995, gemäss dem er die Funktion als Verwaltungsratsmitglied treuhänderisch für den Verwaltungsratspräsidenten und nach dessen Instruktionen auszuüben hatte, sowie auf das Organisationsreglement vom 19. März 1996, wonach die Geschäftsführung allein beim Verwaltungsratspräsidenten lag und er im Wesentlichen nur für die Buchhaltung, die Geschäftsabschlüsse und die Steuerplanung zuständig war. Damit vermag sich der Beschwerdeführer einer Haftung nicht zu entziehen. Der Umstand, dass er das Verwaltungsratsmandat treuhänderisch ausgeübt hat und ihm keine Geschäftsbefugnisse zugestanden haben, ändert nichts daran, dass er die ihm als Mitglied des Verwaltungsrates obliegenden unübertragbaren und unentziehbaren Pflichten, insbesondere die Oberaufsicht über die mit der Geschäftsführung betrauten Personen, namentlich im Hinblick auf die Befolgung der Gesetze, Statuten, Reglemente und Weisungen (<ref-law>), zu erfüllen hatte. Dazu kommt, dass sich der Beschwerdeführer auf Grund des Mandatsvertrages näher mit dem Rechnungswesen und den Belangen der sozialversicherungsrechtlichen Beitragspflicht zu befassen hatte, weshalb an seine Aufsichtspflicht als Verwaltungsratsmitglied ein strenger Massstab anzulegen ist (vgl. <ref-ruling> Erw. 3a mit Hinweisen).
b) Aus den Akten geht hervor, dass die finanzielle Lage der Y._ AG von Anfang an unklar war, weil es hinsichtlich der Verbindlichkeiten aus der übernommenen früheren Gesellschaft an zuverlässigen Unterlagen fehlte. Mit Bezug auf die sozialversicherungsrechtliche Beitragspflicht ergaben sich Schwierigkeiten daraus, dass die Gesellschaft einerseits als Vertreterin der Versicherungsgesellschaft E._, andererseits aber auch als freie Versicherungsvermittlerin tätig war und Personen beschäftigte, die teils als Selbstständigerwerbende, teils als Arbeitnehmer eingestuft wurden. Dazu kam, dass die Gesellschaft bis 30. April 1996 der Ausgleichskasse des Kantons D._ und für die Zeit ab 1. Mai 1996 der Ausgleichskasse Nidwalden angeschlossen war; soweit es sich um Provisionszahlungen seitens der E._ handelte, war auch die Ausgleichskasse des Kantons C._ beteiligt. Der Beschwerdeführer hat sich nach Übernahme des Mandates am 19. März 1996 rasch und eingehend mit der Situation befasst und sich bereits am 20. März 1996 bei der Ausgleichskasse des Kantons D._ über die Beitragsausstände erkundigt. In der Folge traf er nähere Abklärungen zur Frage der Beitragspflicht auf den Provisionszahlungen und legte am 30. Mai 1996 den Geschäftsbericht für das Jahr 1995 vor. Nach Erhalt der definitiven Beitragsrechnung für 1995 vereinbarte er mit der Ausgleichskasse einen Zahlungsplan für die ausstehenden Beiträge in der Höhe von Fr. 20'529. 50. Des Weiteren erklärte er sich bereit, anlässlich der angemeldeten Arbeitgeberkontrolle die noch offenen Fragen zu regeln.
Die Ausgleichskasse Nidwalden erachtet diese Tatsachen als irrelevant, weil sie die Beitragspflicht für die Jahre 1994 und 1995 zum Gegenstand hätten, wogegen es hier um Beitragsausstände gehe, welche im Jahr 1996 entstanden seien. Dies trifft an sich zu. Dennoch können die genannten Tatsachen bei der Beurteilung der Verschuldensfrage nicht unbeachtet bleiben, hatte der Beschwerdeführer sich nach Antritt des Verwaltungsratsmandates am 24. April 1996 doch vorab mit den bestehenden Beitragsschulden zu befassen. Die noch offenen Beitragsfragen blieben zunächst auch nach dem Anschluss der Gesellschaft an die Ausgleichskasse Nidwalden auf den 1. Mai 1996 ungelöst. Im Ergänzungsbericht der Revisionsstelle der Ausgleichskassen vom 7. Dezember 1996 wird ausgeführt, eine Revision sei zur Zeit nur bis 31. Dezember 1995 möglich; eine Schlusskontrolle per 30. April 1996 sei später vorzunehmen. Daraus ist zu schliessen, dass selbst Ende 1996/Anfang 1997, als der Beschwerdeführer den Mandatsvertrag kündigte und aus dem Verwaltungsrat austrat, noch keine volle Klarheit über die Beitragspflicht bestand. Dies hat die Gesellschaft und ihre Organe zwar nicht von der Beitragsabrechnungs- und Zahlungspflicht befreit, ist bei der Beurteilung der Verschuldensfrage jedoch zu berücksichtigen. Zu beachten ist des Weiteren, dass dem Beschwerdeführer angesichts der am 8. Januar 1997 erfolgten Kündigung des Mandates und der Demission aus dem Verwaltungsrat nicht zur Last gelegt wird, die Lohnbescheinigung für 1996 nicht eingereicht zu haben. Der Schadenersatzforderung liegen nicht im Einzelnen substanziierte Beitragsforderungen für nicht abgerechnete Löhne in den Jahren 1996 und 1997 zugrunde. Nach der Veranlagungsverfügung vom 30. Juni 1997 scheint es sich um unbezahlt gebliebene Beitragsrechnungen vom 5. September und 10. Dezember 1996 sowie um eine Schlussabrechnung vom 1. Juni 1997 zu handeln, wobei für die Rechnungen vom 5. September und 10. Dezember 1996 am 20. Januar und 17. März 1997 Zahlungsbefehle vorliegen. Im Hinblick auf den am 8. Januar 1997 erfolgten Rücktritt als Verwaltungsratsmitglied kann dem Beschwerdeführer lediglich zum Vorwurf gemacht werden, nicht für eine ordnungsgemässe Bezahlung der vor diesem Zeitpunkt in Rechnung gestellten und zur Zahlung fällig gewordenen Beiträge gesorgt zu haben (<ref-ruling> Erw. 3c). Der Beschwerdeführer legt zudem glaubhaft dar, dass ihm die im Organisationsreglement zugesicherte volle Transparenz über den Geschäftsgang nicht gewährt wurde, was mit ein Grund dafür war, dass es bereits am 8. Januar 1997 zur Kündigung des Mandates und zur Demission als Verwaltungsrat kam. Im Übrigen hat er seinen Angaben zufolge den Verwaltungsratspräsidenten und Geschäftsführer ausdrücklich angewiesen, die laufenden Beitragsforderungen zu bezahlen. Hiefür fehlt zwar ein Nachweis. Weitere Beweisvorkehren erübrigen sich jedoch. Denn selbst wenn die Behauptung nicht zutreffen sollte, kann sein Verhalten insgesamt nicht als grobfahrlässig qualifiziert werden. In Würdigung sämtlicher Umstände liegt allenfalls ein leichtes, nicht aber ein qualifiziertes Verschulden vor, weshalb eine Haftung für Schadenersatz nach <ref-law> entfällt.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde, soweit darauf einzutreten ist, wird der Entscheid des Verwaltungsgerichtes des Kantons Nidwalden vom 27. Juli 1998 betreffend S._ aufgehoben, und es wird die Schadenersatzklage der Ausgleichskasse Nidwalden vom 20. Oktober 1997 gegen S._ abgewiesen, soweit sie sich auf Bundesrecht stützt.
II.Die Gerichtskosten von Fr. 2000. - werden der Ausgleichskasse Nidwalden auferlegt.
III. Der geleistete Kostenvorschuss von Fr. 2000. - wird dem Beschwerdeführer zurückerstattet.
IV.Die Ausgleichskasse Nidwalden hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2500. - (einschliesslich Mehrwertsteuer) zu bezahlen.
V.Das Verwaltungsgericht des Kantons Nidwalden wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
VI.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden, dem Bundesamt für Sozialversicherung, B._ und A._ zugestellt.
Luzern, 5. Oktober 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Vorsitzende der II. Kammer:
Die Gerichtsschreiberin: