Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- In materieller Hinsicht (Ziff. 1 des Dispositivs) ist der vorinstanzliche Entscheid unangefochten geblieben und daher in formelle Rechtskraft erwachsen. Streitig ist hingegen die vorinstanzliche Annahme einer mutwilligen Prozessführung.
a) Die bundesrechtliche Minimalanforderung der Kostenlosigkeit des Verfahrens nach Art. 73 Abs. 2 BVG steht unter dem Vorbehalt des allgemeinen sozialversicherungsrechtlichen Verfahrensgrundsatzes, dass die Partei nicht in Mutwilligkeit oder Leichtsinn verfallen ist (BGE 118 V 316 und seitherige ständige Rechtsprechung; vgl. BGE 126 V 149 Erw. 4a, 124 V 287 Erw. 3a). Die Bejahung einer mutwilligen oder leichtsinnigen Prozessführung führt nicht nur zur Pflicht, die Verfahrenskosten zu tragen (BGE 118 V 316), sondern begründet auch die Pflicht, die obsiegende Vorsorgeeinrichtung, soweit anwaltlich vertreten, zu entschädigen, vorausgesetzt es finde sich im kantonalen Verfahrensrecht für einen solchen Parteientschädigungsanspruch die erforderliche gesetzliche Grundlage (BGE 126 V 143). Soweit eine Vorsorgeeinrichtung nicht anwaltlich (oder sonst wie qualifiziert, d.h. im Rahmen eines den Ersatz der Verbeiständungskosten begründenden Mandatsverhältnisses mit einer Fachperson) vertreten ist, müssen zusätzlich zu Mutwilligkeit oder Leichtsinn die für die Parteientschädigungsberechtigung massgeblichen Kriterien im Falle einer nicht vertretenen Partei erfüllt sein (BGE 127 V 205).
b) Die Begriffe der Mutwilligkeit und des Leichtsinns gehören dem Bundesrecht an. Ihre Tatbestände können als erfüllt betrachtet werden, wenn eine Partei Tatsachen wider besseres Wissen als wahr behauptet oder ihre Stellungnahme auf einen Sachverhalt abstützt, von dem sie bei der ihr zumutbaren Sorgfalt wissen müsste, dass er unrichtig ist.
Mutwillig ist ferner das Festhalten an einer offensichtlich gesetzwidrigen Auffassung (SZS 1999 S. 69 Erw. 6b).
Leichtsinnige oder mutwillige Prozessführung liegt aber so lange nicht vor, als es der Partei darum geht, einen bestimmten, nicht als willkürlich erscheinenden Standpunkt durch den Richter beurteilen zu lassen. Dies gilt auch dann, wenn der Richter die Partei im Laufe des Verfahrens von der Unrichtigkeit ihres Standpunktes überzeugen und zu einem entsprechenden Verhalten (Beschwerde- oder Klagerückzug) veranlassen will (BGE 112 V 334 Erw. 5a mit Hinweisen).
Die Erhebung einer aussichtslosen Beschwerde darf einer leichtsinnigen oder mutwilligen Beschwerdeführung nicht gleichgesetzt werden. Das Merkmal der Aussichtslosigkeit für sich allein lässt einen Prozess noch nicht als leichtsinnig oder mutwillig erscheinen. Vielmehr bedarf es zusätzlich des subjektiven - tadelnswerten - Elements, dass die Partei die Aussichtslosigkeit bei der ihr zumutbaren vernunftgemässen Überlegung ohne weiteres erkennen konnte, den Prozess aber trotzdem führt (BGE 124 V 288 Erw. 3b).
Mutwillige Prozessführung kann ferner darin begründet liegen, dass eine Partei eine ihr in dieser Eigenschaft obliegende Pflicht (Mitwirkungs- oder Unterlassungspflicht) verletzt.
Der Verzicht, trotz gerichtlicher Mahnung, zu den Vorbringen in einer Klageschrift Stellung zu beziehen, vermag den Vorwurf der Mutwilligkeit allerdings nicht zu begründen (BGE 124 V 288 Erw. 4b).
2.- a) Das kantonale Gericht hat bezüglich der Annahme von Mutwilligkeit erwogen, aus den Akten ergebe sich, dass die Klägerin bereits 1995 Kenntnis davon hatte, dass der Anschlussvertrag wesentlich von der Konzeptstudie abwich.
Trotzdem habe sie sich für das effiziente Vorsorgewerk bedankt.
Erst Ende 1996 habe sie versucht, den Anschlussvertrag zu unterlaufen. Nachdem ihr dies nicht gelungen sei, habe ein beim Institut X._ in Auftrag gegebenes Gutachten den Grundlagenirrtum beweisen sollen. Obwohl sich die Klägerin massgeblich auf dieses Gutachten stütze, habe sie dieses in Verletzung ihrer Mitwirkungspflicht dem Gericht nicht in vollem Wortlaut eingereicht. Aufgrund des vorprozessualen wie auch des prozessualen Verhaltens der Klägerin müsse insgesamt von einer mutwilligen Prozessführung gesprochen werden, habe sie doch an der offensichtlich sachwidrigen Auffassung festgehalten, dass sie den Irrtum erst im Oktober 1997 entdeckt habe. Demnach seien sowohl die Gerichtskosten als auch eine Parteientschädigung geschuldet.
b) Dieser Betrachtungsweise ist entgegenzuhalten, dass die Annahme, ein beim Institut X._ in Auftrag gegebenes Gutachten hätte den Grundlagenirrtum beweisen sollen, eine blosse Vermutung bildet, für deren Richtigkeit zwar einiges spricht, die aber keine hinreichend genaue Feststellung des Sachverhalts bildet, welche für das Eidgenössische Versicherungsgericht im Sinne von Art. 105 Abs. 2 OG verbindlich wäre. Mit der Aktenlage ist ebenso gut auch die gegenteilige Annahme vereinbar, wonach die mit der Beschwerdeführerin im Dezember 1994/März 1995 getroffene Vorsorgelösung diese im Verlaufe der Zeit nicht mehr befriedigte und sie infolgedessen nach einem - rechtlich gangbaren - Weg suchte, um sich aus dem bis 31. Dezember 2004 (somit über 10 Jahre) fest abgeschlossenen Anschlussvertrag lösen zu können. Wiewohl mit Blick auf den Grundsatz "pacta sunt servanda" diskutabel, kann im fehlenden Willen zur Vertragstreue keine Mutwilligkeit erblickt werden. Nach der Aktenlage gesichert ist lediglich, dass in Anbetracht des Geschehensablaufes mit der Konzeptstudie der Firma Y._ AG vom 11. September 1994, dem von den dortigen Vorschlägen und Empfehlungen abweichenden Abschluss des Anschlussvertrages am 15. Dezember 1994/3. März 1995 und dessen nachträglicher Infragestellung die sachverhaltlich erforderlichen Grundlagen für einen im Rahmen von Art. 24 Abs. 1 Ziff. 4 OR erheblichen Irrtum (offensichtlich) nicht bewiesen werden konnten.
c) Als von der Vorinstanz erschwerend betrachteter Umstand hinzu kommt, dass die Beschwerdeführerin das angeblich vom 18. Juli 1997 datierte Gutachten des Institutes X._ unvollständig einreichte. Diesbezüglich ist dem kantonalen Gericht beizupflichten, dass ein solches Verhalten die natürliche Vermutung nährt, es stünde in den zurückbehaltenen Stellen genau das, was die Berufung auf den klageweise geltend gemachten Standpunkt - Behauptung eines wesentlichen Grundlagenirrtums - ausschlösse. Auch dies ist letztlich jedoch unbewiesen, können doch die Gründe für eine bloss teilweise Produktion im Prozess anderweitig liegen (beispielsweise in Tatsachen im Zusammenhang mit dem Geschäftsbetrieb und der BVG-Lösung, welche die Beschwerdeführerin der Beschwerdegegnerin nicht offenbaren will).
Wesentlich ins Gewicht fällt, dass die Weigerung zu vollständiger Edition des Gutachtens des Institutes X._ weder den Verfahrensausgang negativ beeinflusst hat (z.B. verlängerte oder verteuerte), noch für den Ausgang des Prozesses ausschlaggebend war. Die Vorinstanz konnte die entscheidwesentliche Sachverhaltswürdigung - fehlender Beweis der tatsächlichen Voraussetzungen für eine erfolgreiche Vertragsanfechtung aus Grundlagenirrtum nach Art. 24 Abs. 1 Ziff. 4 OR (vgl. Erw. 2b) - auch ohne Kenntnis des vollständigen Wortlauts des Gutachtens des Institutes X._ vornehmen. Bei dieser Sach- und Rechtslage war es nicht notwendig, der Klageabweisung Art. 31 OR (Aufhebung des Mangels wegen Genehmigung des Vertrages) zu Grunde zu legen und in diesem Rahmen Beweis über den Beginn der Einjahresfrist seit Kenntnis des Irrtums zu führen. Es ist daher mit dem auch hinsichtlich prozessualer Sanktionen - zu denen die Kostenauferlegung zufolge Mutwilligkeit oder Leichtsinn gehört - massgebenden Verhältnismässigkeitsgrundsatz nicht vereinbar, die Verletzung der Pflicht zu vollständiger Aktenedition im Zusammenhang mit dem Nachweis von Tatsachen als mutwillig zu qualifizieren, welche für den Ausgang des Verfahrens unerheblich waren.
d) Selbst wenn jedoch von einer Verletzung der Mitwirkungspflicht in einem rechtserheblichen Beweiszusammenhang auszugehen wäre, bedeutete dies, für sich allein, nicht Mutwilligkeit. Nach zürcherischer Zivilprozessordnung (ZPO), welche im Verfahren vor dem Sozialversicherungsgericht ergänzend und sinngemäss anwendbar ist (§ 28 GSVGer; Christian Zünd, Kommentar zum Gesetz über das Sozialversicherungsgericht des Kantons Zürich, Diss. Zürich 1999, N 3 ff. zu § 28), liegt die Rechtsfolge einer ungerechtfertigten Weigerung zur Urkundenvorlegung in der das Verhalten der Parteien im Prozess miteinbeziehenden Beweiswürdigung nach § 148 (zweiter Satz) ZPO (vgl. § 183 Abs. 2 ZPO) und stellt auch kantonalrechtlich nicht ohne weiteres eine (disziplinarisch zu ahndende) böswillige oder mutwillige Prozessführung nach § 50 ZPO dar (vgl. Frank/Sträuli/Messmer, Kommentar zur zürcherischen Zivilprozessordnung,
3. Aufl. , Zürich 1997, N 9 zu § 183, N 10 zu § 148 und N 17 zu § 50).
3.- Das Verfahren vor dem Eidgenössischen Versicherungsgericht ist kostenpflichtig, weil nicht die Bewilligung oder Verweigerung von Versicherungsleistungen, sondern ausschliesslich eine prozessrechtliche Frage zu beurteilen war (Art. 134 OG e contrario). Entsprechend dem Ausgang des Verfahrens wird die Beschwerdegegnerin kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG in Verbindung mit Art. 135 OG).
Demnach erkennt das Eidg. Versicherungsgericht:
I. In Gutheissung der Verwaltungsgerichtsbeschwerde werden
Dispositiv-Ziffer 2 und 3 des Entscheids des
Sozialversicherungsgerichts des Kantons Zürich vom 15. Juni 2001 aufgehoben.
II. Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdegegnerin auferlegt.
III. Der geleistete Kostenvorschuss von Fr. 1'000.- wird
der Beschwerdeführerin zurückerstattet.
IV. Die Sammelstiftung Pro Ventura hat der Firma M._ AG für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 1'500.-- (einschliesslich Mehrwertsteuer) zu
bezahlen.
V. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 15. Juli 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Die Gerichtsschreiberin: