Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Nachdem das Grundsatzgutachten erstellt ist, kann die Sistierung des vorliegenden Verfahrens aufgehoben werden.
2.- a) Die Vorinstanz ist in ausführlichen und zutreffenden Erwägungen zum Schluss gekommen, dass für die Kosten der zahnärztlichen Behandlungen vom 10. Juli bis 31. Dezember 1995 weder eine auf dem bis Ende 1995 gültigen Bundesgesetz über die Kranken- und Unfallversicherung vom 13. Juni 1911 (KUVG) basierende noch eine sich aus der damals bestehenden Zusatzversicherung ergebende Leistungspflicht der Krankenkasse besteht. Darauf kann verwiesen werden.
b) Das kantonale Gericht bejahte hingegen eine Leistungspflicht aus der obligatorischen Krankenpflegeversicherung gestützt auf das per 1. Januar 1996 in Kraft getretene Bundesgesetz über die Krankenversicherung vom 18. März 1994 (KVG) für die Kosten der 1996 durchgeführten zahnärztlichen Behandlungen. Dagegen richtet sich die Verwaltungsgerichtsbeschwerde der Krankenkasse. Zu prüfen ist daher im vorliegenden Verfahren, ob die Kosten für die 1996 durchgeführten zahnärztlichen Behandlungen im Gesamtbetrag von Fr. 10 870. 45 von der obligatorischen Krankenpflegeversicherung zu übernehmen sind.
3.- a) Die Leistungen, deren Kosten von der obligatorischen Krankenpflegeversicherung bei Krankheit zu übernehmen sind, werden in Art. 25 KVG in allgemeiner Weise umschrieben. Im Vordergrund stehen die Leistungen der Ärzte und Ärztinnen, dann aber auch der Chiropraktoren und Chiropraktorinnen sowie der Personen, die im Auftrag von Ärzten und Ärztinnen Leistungen erbringen.
Die zahnärztlichen Leistungen sind in der genannten Bestimmung nicht aufgeführt. Die Kosten dieser Leistungen sollen im Krankheitsfalle der obligatorischen Krankenpflegeversicherung - wie die Vorinstanz zutreffend darlegt - nur in eingeschränktem Masse überbunden werden, nämlich wenn die zahnärztliche Behandlung durch eine schwere, nicht vermeidbare Erkrankung des Kausystems (Art. 31 Abs. 1 lit. a KVG) oder durch eine schwere Allgemeinerkrankung oder ihre Folgen bedingt (Art. 31 Abs. 1 lit. b KVG) oder zur Behandlung einer schweren Allgemeinerkrankung oder ihrer Folgen notwendig ist (Art. 31 Abs. 1 lit. c KVG).
b) Gestützt auf Art. 33 Abs. 2 und 5 KVG in Verbindung mit Art. 33 lit. d der Verordnung über die Krankenversicherung (KVV) hat das Departement in der Verordnung über Leistungen in der obligatorischen Krankenpflegeversicherung (Krankenpflege-Leistungsverordnung [KLV]) zu jedem der erwähnten Unterabsätze von Art. 31 Abs. 1 KVG einen eigenen Artikel erlassen, nämlich zu lit. a den Art. 17 KLV, zu lit. b den Art. 18 KLV und zu lit. c den Art. 19 KLV. In Art. 17 KLV werden die schweren, nicht vermeidbaren Erkrankungen des Kausystems aufgezählt, bei denen daraus resultierende zahnärztliche Behandlungen von der obligatorischen Krankenpflegeversicherung zu übernehmen sind. In Art. 18 KLV werden die schweren Allgemeinerkrankungen und ihre Folgen aufgelistet, die zu zahnärztlicher Behandlung führen können und deren Kosten von der obligatorischen Krankenpflegeversicherung zu tragen sind. In Art. 19 KLV schliesslich hat das Departement die schweren Allgemeinerkrankungen aufgezählt, bei denen die zahnärztliche Massnahme notwendiger Bestandteil der Behandlung darstellt.
c) In BGE 124 V 185 hat das Eidgenössische Versicherungsgericht entschieden, dass die in Art. 17-19 KLV erwähnten Erkrankungen, welche zahnärztliche Behandlungen bedingen, abschliessend aufgezählt sind. Daran hat es in ständiger Rechtsprechung festgehalten (noch nicht in der Amtlichen Sammlung veröffentlichte Urteile M. vom 19. September 2001, K 73/98, und J. vom 28. September 2001, K 78/98).
4.- Gemäss Art. 31 Abs. 1 lit. b KVG in Verbindung mit Art. 18 lit. c Ziff. 7 KLV übernimmt die Versicherung die Kosten der zahnärztlichen Behandlungen, die durch eine schwere psychische Erkrankung mit konsekutiver schwerer Beeinträchtigung der Kaufunktion oder ihre Folge bedingt und zur Behandlung des Leidens notwendig sind.
a) Art. 31 Abs. 1 lit. b KVG in Verbindung mit Art. 18 KLV löst, obschon in diesen Bestimmungen nicht ausdrücklich erwähnt, analog zu Art. 31 Abs. 1 lit. a KVG in Verbindung mit Art. 17 KLV nur bei nicht vermeidbaren Erkrankungen des Kausystems Pflichtleistungen aus. Zu betonen ist dabei, dass nicht die schwere Allgemeinerkrankung, sondern die Kausystemerkrankung unvermeidbar gewesen sein muss. Dies geht einerseits aus der parlamentarischen Debatte über Art. 31 KVG hervor, bei der die Mehrheit in den Räten die Auffassung vertrat, dass vermeidbare Erkrankungen des Kausystems, wie Karies, generell nicht zu den Pflichtleistungen der Krankenkassen gehören (vgl. Amtl. Bull. 1992 S 1301 f.; Amtl. Bull. 1993 N 1843 f.). Andererseits ergeben auch Sinn und Zweck der Verordnungsbestimmung, dass der Grund für die Zuordnung zu den Pflichtleistungen darin zu sehen ist, dass die versicherte Person für die Kosten der zahnärztlichen Behandlung dann nicht voll aufkommen muss, wenn sie an einer nicht vermeidbaren Erkrankung des Kausystems leidet, die durch eine schwere Allgemeinerkrankung oder ihre Folgen bedingt ist (vgl. Gebhard Eugster, Krankenversicherungsrechtliche Aspekte der zahnärztlichen Behandlung nach Art. 31 Abs. 1 KVG, in: LAMal-KVG, Recueil de travaux en l'honneur de la société suisse de droit des assurances, Lausanne 1997, S. 239 f.). Dieser Auslegung liegt somit der Gedanke zu Grunde, dass von einer versicherten Person eine genügende Mundhygiene erwartet wird. Diese verlangt Anstrengungen in Form täglicher Verrichtungen, namentlich die Reinigung der Zähne, die Selbstkontrolle der Zähne, soweit dem Laien möglich, des Ganges zum Zahnarzt, wenn sich Auffälligkeiten am Kausystem zeigen, sowie periodischer Kontrollen und Behandlungen durch den Zahnarzt (einschliesslich einer periodischen professionellen Dentalhygiene). Sie richtet sich nach dem jeweiligen Wissensstand der Zahnheilkunde (vgl. zur Publikation in der Amtlichen Sammlungvorgesehenes Urteil I. vom 29. Januar 2002, K 106/99).
b) Unter vermeidbar im Sinne der obigen Ausführungen fällt alles, was durch eine genügende Mundhygiene vermieden werden könnte. Abzustellen ist dabei grundsätzlich auf eine objektive Vermeidbarkeit der Kausystemerkrankung. Massgebend ist demzufolge, ob beispielsweise Karies oder Parodontitis hätte vermieden werden können, wenn die Mundhygiene genügend gewesen wäre, dies ohne Rücksicht darauf, ob die versäumte Prophylaxe im Einzelfall als subjektiv entschuldbar zu betrachten ist (vgl. Gebhard Eugster, a.a.O., S. 251; zur Publikation in der Amtlichen Sammlung vorgesehenes Urteil I. vom 29. Januar 2002, K 106/99).
5.- a) Der Beschwerdegegner, unterstützt durch den ihn behandelnden Zahnarzt Dr. med. dent. F._, führt die Notwendigkeit der Gebisssanierung auf die wegen seiner schweren Depression unterbliebene Mundhygiene zurück. Ohne näher darauf einzugehen, ob vorliegend die Voraussetzungen einer schweren psychischen Erkrankung und einer konsekutiven schweren Beeinträchtigung der Kaufunktion erfüllt sind, ist klarzustellen, dass massgebend für eine allfällige Leistungspflicht der obligatorischen Krankenpflegeversicherung die Gründe für das Unterbleiben der genügenden Mundhygiene sind. Ist einem schwer psychisch Kranken die Durchführung einer genügenden Mundhygiene lediglich erschwert, rechtfertigt sich eine Leistungspflicht für eine daraus hervorgegangene schwere Beeinträchtigung der Kaufunktion nicht. Auch andern schwer Kranken sowie Alten und Gebrechlichen ist nämlich die Aufrechterhaltung der Mundhygiene erschwert, ohne dass sie sich bei deren Vernachlässigung auf eine Leistungspflicht für daraus entstandene Gebissschäden berufen könnten. Eine Pflichtleistung der obligatorischen Krankenpflegeversicherung für eine Beeinträchtigung der Kaufunktion zufolge Unterbleibens genügender Mundhygiene kann somit unter dem Gesichtswinkel rechtsgleicher Behandlung nur bei solchen Versicherten mit schweren psychischen Erkrankungen bejaht werden, bei denen eine genügende Mundhygiene aus Gründen dieser Krankheit verunmöglicht ist. In diesem Sinne äussert sich denn auch der von der Schweizerischen Zahnärzte-Gesellschaft SSO herausgegebene Atlas der Erkrankungen mit Auswirkungen auf das Kausystem (SSO-Atlas, Definition, S. 145). Die Aufrechterhaltung genügender Mundhygiene kann verunmöglicht sein, wenn sich eine schwer psychisch kranke Person wegen ihres Unvermögens, die Notwendigkeit einer genügenden Mundhygiene zu erkennen, einer solchen widersetzt oder wenn die Durchführung einer genügenden Mundhygiene aus Gründen wie etwa der ernsthaften Verschlimmerung des psychischen Leidens während geraumer Zeit zu unterbleiben hat. Dabei ist bei schwer psychisch Kranken wie bei andern Kranken davon auszugehen, dass ihnen, soweit sich nicht Angehörige oder Bekannte um sie kümmern, die sozialen Hilfen (z.B. private oder öffentliche Fürsorge, unter Umständen vormundschaftliche Massnahmen) zur Verfügung stehen.
b) Dem Beschwerdegegner war es nicht im oben dargelegten Sinne verunmöglicht, eine genügende Mundhygiene aufrechtzuerhalten. In den Akten finden sich keine Anhaltspunkte, wonach der Versicherte der Einsicht in die Notwendigkeit der Mundhygiene nicht fähig gewesen wäre und sich ihr widersetzt hätte. Abgesehen davon, dass nach dem Gesagten das vom Versicherten geltend gemachte Unvermögen, den Zahnarzt aufzusuchen, eine Leistungspflicht nicht zu begründen vermöchte, ist ein solches auch gar nicht ausgewiesen. Weshalb er nicht in der Lage gewesen sein soll, die nötige Mundhygiene aufrechtzuerhalten und die Zähne pflegen und kontrollieren zu lassen, legt der behandelnde Zahnarzt in seinem Schreiben an den Krankenversicherer vom 20. September 1996 nicht dar. Soweit er dem Beschwerdegegner am 19. Juni 1997 bestätigt hat, dass er nicht mehr in der Lage gewesen sei, das Haus zu verlassen, um ihn, den Zahnarzt, aufzusuchen, kontrastiert dies mit dem Umstand, dass der Versicherte gemäss eigenen Ausführungen einen kleinen Landwirtschaftsbetrieb mit Tierhaltung führte. Auch für kranke und ältere Menschen ist es regelmässig beschwerlich, den Zahnarzt aufzusuchen, was indessen für den Gesetzgeber keinen Grund darstellt, bei Vernachlässigung der Mundhygiene deswegen Pflichtleistungen der Krankenkasse vorzusehen. Im Übrigen hat auch der Psychiater Dr. med. J._ in seinem Schreiben an die Krankenversicherung vom 16. November 1996 damit argumentiert, der Beschwerdegegner sei nicht mehr in der Lage gewesen, ihn, den Psychiater, und den Zahnarzt aufzusuchen, wohingegen er in seinem Schreiben an die Vorinstanz vom 13. August 1997 ausgeführt hat, die psychiatrische Behandlung sei seit Mai 1989 (Zeitpunkt des Erhalts der IV-Rente) eingestellt worden, nachdem das Leiden des Versicherten einigermassen stabil geworden und eine weitere Besserung nicht mehr zu erreichen gewesen sei. Dies entspricht denn auch den Angaben des Beschwerdegegners im vorinstanzlichen Verfahren, wonach er die Behandlung beim Psychiater abgebrochen habe, als er keine Fortschritte mehr gemacht habe.
6.- a) Nach Art. 31 Abs. 1 lit. b KVG übernimmt die obligatorische Krankenpflegeversicherung die Kosten der zahnärztlichen Behandlung, die durch eine schwere Allgemeinerkrankung oder ihre Folgen bedingt ist. In Übereinstimmung damit setzt Art. 18 KLV diesbezüglich die Folgen einer schweren Allgemeinerkrankung der Erkrankung gleich. Ursache für die zahnärztliche Behandlung kann demnach die schwere Allgemeinerkrankung oder aber ihre Folge sein. Indem Gesetz und Verordnung ausdrücklich als Ursache der zahnärztlichen Behandlung auch die Folgen einer schweren Allgemeinerkrankung nennen, drängt sich der Schluss auf, dass auch die Behandlung einer schweren Erkrankung als Folge derselben zu einer leistungspflichtigen zahnärztlichen Behandlung führen kann. Ist demzufolge die zahnärztliche Behandlung des Versicherten durch die medikamentöse Behandlung als Folge seiner schweren psychischen Erkrankung bedingt, fällt sie in den Pflichtleistungsbereich des Krankenversicherers.
b) Der behandelnde Zahnarzt hat am 20. September 1996 der Beschwerdeführerin auf deren Anfrage hin mitgeteilt, es entziehe sich seiner Kenntnis, ob allenfalls Nebenwirkungen einer medikamentösen Behandlung der psychischen Erkrankung des Versicherten bei der Schädigung des Gebisses eine Rolle gespielt haben könnten. Diesbezüglich sei der behandelnde Arzt zu befragen. In den Akten finden sich keine Hinweise darauf, dass dies getan worden ist. Da bejahendenfalls eine Leistungspflicht gegeben wäre, sofern und soweit aus einer medizinischen Behandlung einer schweren psychischen Erkrankung eine schwere Beeinträchtigung der Kaufunktion der versicherten Person hervorgegangen wäre, ist die Sache an die Beschwerdeführerin zurückzuweisen, damit sie diese Abklärungen vornehme und über ihre Leistungspflicht neu verfüge.
Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Sistierung wird aufgehoben.
II. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Oktober 1999 sowie der Einspracheentscheid der Helsana Versicherungen AG vom 5. Juni 1997 aufgehoben, und es wird die Sache an die Helsana Versicherungen AG zurückgewiesen, damit sie nach erfolgter Abklärung im Sinne der Erwägungen über den Leistungsanspruch neu verfüge.
III. Es werden keine Gerichtskosten erhoben.
IV. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 27. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Die Gerichtsschreiberin: