A.- B._, deren Ehemann A._ und ihr Sohn C._ hatten bei der Eidgenössischen Gesundheitskasse (nachfolgend: Kasse) die obligatorische Krankenpflegeversicherung sowie verschiedene Zusatzversicherungen abgeschlossen.
Mit Schreiben vom 8. November 1996 teilten B._ und A._ der Kasse mit, sie würden der "Versicherungsorganisation nicht beitreten"; dieser "Austritt" habe mit C._ nichts zu tun. Daraufhin hielt die Kasse am 14. November 1996 verfügungsweise fest, auf Grund der gesetzlichen Bestimmungen könne sie die rückwirkende Kündigung nicht akzeptieren. Allerdings bestehe infolge der Ende Oktober 1996 bekannt gegebenen Prämienerhöhungen auf den 1. Januar 1997 die Möglichkeit, das Versicherungsverhältnis unter Einhaltung einer Frist von 30 Tagen auf das Jahresende hin aufzulösen; Voraussetzung bilde dabei die vollständige Bezahlung ausstehender Prämien und Kostenbeteiligungen und die Beibringung einer Bestätigung der neuen Versicherungsgesellschaft über den lückenlosen Versicherungsschutz. Am 28. November 1996 kündigte B._ die Mitgliedschaft der ganzen Familie auf den 31. Dezember 1996. Gleichentags erhob sie Einsprache gegen den Verwaltungsakt vom 14. November 1996. Mit Einspracheentscheid vom 17. Januar 1997 hielt die Kasse daran fest, dass B._ und A._ weiterhin der obligatorischen Krankenpflegeversicherung angehörten, bis sämtliche Prämienausstände und/ oder allfällige Kostenbeteiligungen bezahlt seien. Ebenfalls am 17. Januar 1997 verfügte sie zuhanden von C._, er bleibe vorerst bei ihr versichert, und wies (in Anlehnung an den das Ehepaar betreffenden Verwaltungsakt vom 14. November 1996) auf die Modalitäten beim Versichererwechsel hin. Dagegen erhob die Familie Einsprache.
B.- B._, A._ und C._ führten gegen den das Ehepaar betreffenden Einspracheentscheid vom 17. Januar 1997 sowie sinngemäss gegen den zum damaligen Zeitpunkt noch ausstehenden, C._ betreffenden Einspracheentscheid Beschwerde beim Verwaltungsgericht des Kantons Zug und beantragten, die Prämien für die obligatorischen Krankenpflegeversicherungen seien klar und überschaubar abzurechnen und es sei festzustellen, dass die Kündigung der Versicherungsverhältnisse aller Familienmitglieder auf Ende 1996 wirksam sei. Am 20. Februar 1997 erging der ablehnende Einspracheentscheid bezüglich C._. Das kantonale Gericht behandelte die Streitsache des C._ aus prozessökonomischen Gründen zusammen mit derjenigen des Ehepaares und wies die Beschwerde der drei Familienmitglieder ab (Entscheid vom 24. Juni 1999). Zur Begründung gab es an, zufolge ausstehender Prämien in der Höhe von Fr. 2070. - habe die Kasse die Kündigung der obligatorischen Krankenpflegeversicherungen auf den 31. Dezember 1996 zu Recht nicht akzeptiert.
C.- Mit Verwaltungsgerichtsbeschwerde stellen B._, A._ und C._ sinngemäss das Rechtsbegehren, es sei festzustellen, dass die Versichererwechsel auf Ende 1996 zu Stande gekommen seien.
Die Kasse schliesst - mit neuer Begründung - auf Abweisung der Verwaltungsgerichtsbeschwerde, während sich das Bundesamt für Sozialversicherung (BSV) nicht vernehmen lässt.
D.- Im Rahmen eines zweiten Schriftenwechsels beantragt das BSV, die Verwaltungsgerichtsbeschwerde sei gutzuheissen. Die Parteien halten an ihren unterschiedlichen Positionen fest, wobei B._, A._ und C._ zusätzlich eine Umtriebsentschädigung von gesamthaft Fr. 3'000. - fordern.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da keine Versicherungsleistungen im Streit stehen, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Streitig ist der Bestand der die obligatorische Krankenpflege betreffenden Versicherungsverhältnisse über den 31. Dezember 1996 hinaus.
3.- a) Jede Person mit Wohnsitz in der Schweiz muss sich für Krankenpflege versichern (Art. 3 Abs. 1 KVG). Sie kann unter den Versicherern frei wählen (Art. 4 Abs. 1 KVG). Unter Einhaltung einer dreimonatigen Kündigungsfrist kann sie den Versicherer auf das Ende eines Kalendersemesters (Art. 7 Abs. 1 KVG), bei einer Prämienerhöhung unter Einhaltung einer Kündigungsfrist von einem Monat seit Ankündigung der Prämienerhöhung auf das Ende eines Monats wechseln (Art. 7 Abs. 2 KVG in der vorliegend anwendbaren, bis 30. September 2000 geltenden Fassung).
b) Es steht auf Grund der Akten fest und ist unbestritten, dass die Beschwerdeführer die vorliegend massgebende Kündigungsfrist von einem Monat gemäss Art. 7 Abs. 2 KVG eingehalten haben. Die Vorinstanz ist allerdings der Auffassung, es lasse sich dennoch nicht beanstanden, dass die Kasse die Kündigungen per 31. Dezember 1996 nicht akzeptiert habe, da in jenem Zeitpunkt Prämien zur Zahlung ausgestanden seien. Dieser Ansicht kann nicht gefolgt werden. Wie in der Verwaltungsgerichtsbeschwerde zu Recht eingewendet wird, vermag allein der Umstand, dass die Versicherten mit der Bezahlung von Prämien im Rückstand waren, die Wirksamkeit der Kündigungen nicht zu hindern, was im Übrigen letztinstanzlich auch von der Kasse nicht mehr angezweifelt wird. Denn gemäss <ref-ruling> ist Art. 9 Abs. 3 KVV, wonach der bisherige Versicherer säumige Versicherte, die den Versicherer wechseln wollen, erst dann aus dem Versicherungsverhältnis entlassen darf, wenn die ausstehenden Prämien oder Kostenbeteiligungen vollständig bezahlt sind, gesetzwidrig. Zu diesem Schluss gelangte das Eidgenössische Versicherungsgericht, weil Art. 9 Abs. 3 KVV das in Art. 7 Abs. 1 und 2 KVG statuierte Recht auf den Wechsel des Versicherers einschränkt und damit den einer Vollzugsnorm gesetzten Rahmen überschreitet.
4.- a) Gemäss Art. 7 Abs. 5 KVG endet das Versicherungsverhältnis beim bisherigen Versicherer erst, wenn ihm der neue Versicherer mitgeteilt hat, dass die betreffende Person bei ihm ohne Unterbrechung des Versicherungsschutzes versichert ist (Satz 1). Unterlässt der neue Versicherer diese Mitteilung, so hat er der versicherten Person den daraus entstandenen Schaden zu ersetzen, insbesondere die Prämiendifferenz (Satz 2). Sobald der bisherige Versicherer die Mitteilung erhalten hat, informiert er die betroffene Person, ab welchem Zeitpunkt sie nicht mehr bei ihm versichert ist (Satz 3).
b) Vorliegend haben die Beschwerdeführer im Rahmen des Schriftenwechsels vor dem kantonalen Gericht die Mitteilung der CSS Versicherung vom 10. Januar 1997 zu den Akten gegeben, in welcher ihre Weiterversicherung ohne Unterbruch in der obligatorischen Krankenpflegeversicherung bestätigt wird. Die Eidgenössische Gesundheitskasse hat in ihrer letztinstanzlich eingereichten Vernehmlassung ausdrücklich festgehalten, dieses Schreiben der CSS Versicherung sei ihr am 10. Januar 1997 zugegangen. Die Bestätigung der
Weiterversicherung erweist sich damit im Hinblick auf den Kündigungstermin vom 31. Dezember 1996 als verspätet. Zu prüfen bleibt, auf welchen Zeitpunkt die dem Obligatorium unterstehenden Versicherungsverhältnisse bei der bisherigen Versicherung unter diesen Umständen endeten.
aa) Nach der Auffassung des Bundesamtes für Sozialversicherung (BSV) ist eine erst nach dem Kündigungstermin beim bisherigen Versicherer eingetroffene Mitteilung nicht geeignet, die Wirksamkeit der im Übrigen form- und fristgerechten Kündigung hinauszuschieben. Insbesondere in Jahren hoher Fluktuationen seien auch bei gut organisierten Versicherern über das Jahresende hinaus verzögerte Abläufe im Korrespondenzwesen verständlich. Der Gesetzgeber habe mit dem Erfordernis der Mitteilung der ununterbrochenen Weiterversicherung einzig Versicherungslücken verhindern wollen. Es sei deshalb unproblematisch, Versicherungsverhältnisse bei einem Wechsel des Versicherers nach Art. 7 KVG rückwirkend aufzulösen bzw. zu begründen, falls die Mitteilung des neuen Versicherers über den ununterbrochenen Versicherungsschutz innert eines Monates seit dem Kündigungstermin beim bisherigen Versicherer eintreffe. Das BSV schlägt vor, das bisherige Versicherungsverhältnis rückwirkend auf den Kündigungstermin als beendet zu qualifizieren, vorausgesetzt, die Mitteilung des neuen Versicherers treffe innert Monatsfrist seit dem Kündigungstermin beim bisherigen Versicherer ein.
Dagegen wendet die beschwerdegegnerische Kasse im Wesentlichen ein, auch der bisherige Versicherer habe Anspruch darauf, seinen Versichertenbestand zuverlässig ermitteln zu können. Rückwirkende Wechsel würden nicht nur administrativ aufwändige Rückzahlungen auslösen, sondern auch unlösbare Probleme im Zusammenhang mit den Risikoausgleichszahlungen und den kantonalen Prämienverbilligungen schaffen. Die Auslegung des BSV gehe klar an der rechtlichen Situation vorbei. Sie sei geprägt durch ein Verständnis zu Gunsten der Versicherten, welches auf die Belange des alten Versicherers keinerlei Rücksicht nehme. Zur Frage, in welchem Zeitpunkt bisherige
Versicherungsverhältnisse bei verspäteter Mitteilung endeten, äussert sich die Kasse nicht.
bb) Zu den wichtigsten Zielen des Bundesgesetzes über die Krankenversicherung vom 18. März 1994 (KVG) gehören die Einführung des Krankenpflegeversicherungsobligatoriums und die Eindämmung der Kostensteigerung im Gesundheitswesen, der unter anderem durch den Wettbewerb unter den Versicherern begegnet werden soll. Im System der Mehrfachträgerschaft des Versicherungsobligatoriums gewährleisten verschiedene Bestimmungen die rechtliche und faktische Freiheit des Versichererwechsels. Faktische Freiheit besteht etwa durch die Unabhängigkeit der Prämienhöhe vom Eintrittsalter (Art. 61 KVG). Art. 7 KVG regelt die rechtliche Freiheit des Versichererwechsels einerseits durch Statuierung von Kündigungsfristen und -terminen (Abs. 1 und 2), anderseits durch die Bestimmung, dass das Versicherungsverhältnis nur bei Bestätigung eines neuen Versicherungsverhältnisses endet (Abs. 5). Während Kündigungsfristen und -termine den administrativen Ablauf vereinfachen, bezweckt Art. 7 Abs. 5 KVG die Vermeidung von - mit dem Versicherungsobligatorium unverträglichen - Versicherungslücken (Botschaft des Bundesrates über die Revision der Krankenversicherung vom 6. November 1991, BBl 1992 I 93 ff., insbesondere 144; Amtl. Bull. 1992 S 1287, 1993 N 1729 und 1833, 1993 S 1048).
Nach dem Wortlaut von Art. 7 Abs. 5 KVG endet das Versicherungsverhältnis beim bisherigen Versicherer erst, wenn ihm der neue Versicherer mitgeteilt hat, dass die betreffende Person bei ihm ohne Unterbrechung des Versicherungsschutzes versichert ist (Satz 1); sobald der bisherige Versicherer die Mitteilung erhalten hat, informiert er die betroffene Person, ab welchem Zeitpunkt sie nicht mehr bei ihm versichert ist (Satz 3). Ob dieser Zeitpunkt bei verspäteter Mitteilung auf deren Eingang beim bisherigen Versicherer oder auf ein früheres oder späteres Datum fällt, lässt die Bestimmung offen. Weder auf Gesetzes- noch auf Verordnungsstufe wird der Endzeitpunkt des bisherigen Versicherungsverhältnisses bei verspäteter Mitteilung des neuen Versicherers konkretisiert. Auch die ratio legis, welche im Verhindern von Versicherungslücken besteht, gibt keinen zwingenden Beendigungstermin des alten Versicherungsverhältnisses vor.
cc) Eine Lücke des Gesetzes liegt vor, wenn sich eine gesetzliche Regelung als unvollständig erweist, weil sie auf eine bestimmte Frage keine (befriedigende) Antwort gibt. Bevor eine ausfüllungsbedürftige Lücke angenommen werden darf, ist durch Auslegung zu ermitteln, ob das Fehlen einer Anordnung nicht eine bewusst negative Antwort des Gesetzgebers, ein sog. qualifiziertes Schweigen darstellt. Erst nach Verneinung dieser Frage kann von einer Lücke gesprochen werden (vgl. Häfelin/Müller, Grundriss des Allgemeinen Verwaltungsrechts, 3. Aufl. , Zürich 1998, S. 46 Rz 192 ff.). Herrschende Lehre und bundesgerichtliche Rechtsprechung unterscheiden echte und unechte Lücken (vgl. Häfelin/ Müller, a.a.O., S. 46 Rz 195 ff.; Blaise Knapp, Précis de droit administratif, 4. Aufl. , Basel/Frankfurt a.M. 1991, S. 93 Nr. 441; Ulrich Häfelin, Zur Lückenfüllung im öffentlichen Recht, in: Festschrift zum 70. Geburtstag von Hans Nef, Zürich 1981, S. 91 ff., alle mit Hinweisen). Während bei einer echten Lücke eine sich unvermeidlich stellende Rechtsfrage nicht beantwortet wird und das Gericht diese unter Rückgriff auf die ratio legis zu schliessen hat (<ref-ruling> f. Erw. 3, 124 V 307 Erw. 4c, 119 V 255 Erw. 3b, 118 V 298 Erw. 2e, je mit Hinweisen), liegt bei einer unechten Lücke eine sachlich unbefriedigende Antwort vor, deren Korrektur den rechtsanwendenden Organen grundsätzlich nicht bzw. nur unter strengen Voraussetzungen erlaubt ist (<ref-ruling> Erw. 3, 124 V 164 f. Erw. 4c und 275 Erw. 2a, 122 V 98 Erw. 5c und 329 Erw. 4 in fine, 121 V 176 Erw. 4d, je mit Hinweisen).
dd) Das Fehlen einer Regelung über den Zeitpunkt der Beendigung des bisherigen Versicherungsverhältnisses bei verspäteter Mitteilung des neuen Versicherers gemäss Art. 7 Abs. 5 KVG ist kein qualifiziertes Schweigen, sondern eine planwidrige Unvollständigkeit. Mangels Beantwortung der sich in Fällen verspäteter Mitteilung unvermeidlich stellenden Frage nach dem Endzeitpunkt des bisherigen Versicherungsverhältnisses liegt eine echte Lücke vor. Diese hat das Gericht nach jener Regel zu schliessen, die es als Gesetzgeber aufstellen würde (<ref-ruling> Erw. 4c, 124 V 307 Erw. 4c in fine, 119 V 255 Erw. 3b).
ee) Eine Lückenfüllung im Sinne einer rückwirkenden Aufhebung des bisherigen Versicherungsverhältnisses auf den Zeitpunkt des Kündigungstermins, wie sie das BSV vorschlägt, ist abzulehnen. Die Kasse wendet zu Recht ein, damit würde Art. 7 Abs. 5 Satz 2 KVG, wonach der neue Versicherer bei unterlassener Mitteilung der versicherten Person den daraus entstandenen Schaden - insbesondere die Prämiendifferenz - zu ersetzen hat, untergraben, weil eine Prämiendifferenz gar nicht entstehen könne, wenn die verspätete Meldung des neuen Versicherers bewirke, dass der Versicherungsschutz beim alten Versicherer rückwirkend aufgelöst werde.
Ebenso wenig soll eine im Sinne von Art. 7 Abs. 1 oder 2 KVG fristgerecht erfolgte Kündigung bei verspäteter Mitteilung des neuen Versicherers gemäss Art. 7 Abs. 5 KVG ihre Wirkung erst auf den nächstmöglichen Kündigungstermin (vgl. RKUV 1991 Nr. K 873 S. 195 Erw. 4a mit Hinweisen auf Lehre und Rechtsprechung) entfalten. Denn bei der verspäteten Mitteilung des neuen Versicherers über den ununterbrochenen Versicherungsschutz ist nicht die Gültigkeit der Kündigung an sich betroffen. Art. 7 Abs. 5 KVG sieht zwecks Sicherstellung des ununterbrochenen Versicherungsschutzes lediglich einen Aufschub der Beendigung des Versicherungsverhältnisses vor.
Aus verwaltungsökonomischen Gründen ist die Beendigung des bisherigen Versicherungsverhältnisses auf das Ende des Monats vorzusehen, in dem die verspätete Mitteilung des neuen Versicherers bei der bisherigen Versicherungsgesellschaft eingegangen ist. Diese Lösung steht im Einklang mit der ratio legis und deckt sich mit dem Umstand, dass die Prämieneinheiten in monatlichen Zeitabschnitten berechnet und in der Regel monatlich zu bezahlen sind (gleicher Meinung: Gebhard Eugster, Krankenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, Rz 36 und Fn 73 sowie Rz 338; vgl. auch Maurer, Das neue Krankenversicherungsrecht, Basel/Frankfurt a.M. 1996, S. 38, welcher von einem Weiterdauern des bisherigen Versicherungsverhältnisses spricht, sich zum Endzeitpunkt aber nicht äussert).
c) In Anbetracht der Tatsache, dass vorliegend die Mitteilung der CSS Versicherung am 10. Januar 1997 bei der Kasse eingegangen war, endeten die dem Obligatorium unterstehenden Versicherungsverhältnisse bei der Beschwerdegegnerin nach dem Gesagten am 31. Januar 1997.
5.- Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Entsprechend dem Ausgang des Verfahrens rechtfertigt es sich, die Kosten der Kasse aufzuerlegen (Art. 156 in Verbindung mit Art. 135 OG).

Die nicht vertretenen Versicherten haben im Rahmen des zweiten Schriftenwechsels beantragt, es sei ihnen eine Umtriebsentschädigung von gesamthaft Fr. 3000. - zu entrichten. Eine Umtriebsentschädigung wird praxisgemäss nur unter besonderen Umständen gewährt und setzt namentlich voraus, dass die Interessenwahrung einen hohen Arbeitsaufwand notwendig macht, welcher den Rahmen dessen überschreitet, was die einzelne Person üblicher- und zumutbarerweise auf sich zu nehmen hat (<ref-ruling>). Diese Voraussetzung ist hier nicht gegeben, weshalb eine Entschädigung bereits aus diesem Grund nicht zugesprochen werden kann. Demzufolge kann offen gelassen werden, ob der Entschädigungsantrag rechtzeitig gestellt worden ist. Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird in dem Sinne teilweise gutgeheissen, dass die Einspracheentscheide der Eidgenössischen Gesundheitskasse vom 17. Januar und 20. Februar 1997 vollumfänglich und der Entscheid des Verwaltungsgerichts des Kantons Zug vom 24. Juni 1999 hinsichtlich der Bestätigung des Weiterbestandes der obligatorischen Krankenpflegeversicherungsverhältnisse aufgehoben werden mit der Feststellung, dass diese Versicherungsverhältnisse zwischen den Parteien auf den 31. Januar 1997 beendet waren.
II.Die Gerichtskosten von Fr. 500. - werden der Eidgenössischen Gesundheitskasse auferlegt.
III. Der von den Beschwerdeführern geleistete Kostenvorschuss von Fr. 500. - wird diesen zurückerstattet.
IV.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 9. Januar 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Die Gerichtsschreiberin: