Sachverhalt:
A. A.a Die V._ AG mit Sitz in A._ war der Ausgleichskasse Zug angeschlossen. Einzige Verwaltungsrätin dieser Firma war K._. Am 25. Mai 2005 wurde die Gesellschaft in O._ AG umbenannt und ihr Sitz nach B._ verlegt. Dort wurde sie am 27. Februar 2006 in Anwendung von <ref-law> von Amtes wegen aufgelöst. Mit Verfügung vom 25. April 2006, bestätigt durch Einspracheentscheid vom 2. Juni 2006, verpflichtete die Ausgleichskasse Zug K._, ihr für entgangene paritätische Sozialversicherungsbeiträge Schadenersatz im Betrage von Fr. 24'363.65 zu bezahlen. Die Forderung betraf im Umfang von Fr. 2'379.40 Schadenersatz für kantonalrechtliche Beiträge an die Familienausgleichskasse (FAK-Beiträge), im Übrigen für die bundesrechtlichen Beiträge.
A.b Hinsichtlich der bundesrechtlichen Beiträge erhob K._ Beschwerde beim Verwaltungsgericht des Kantons Graubünden. Dieses wies die Beschwerde am 3. Oktober 2006 ab. Eine dagegen erhobene Verwaltungsgerichtsbeschwerde wies das Bundesgericht im Verfahren H 8/07 mit Urteil vom 23. April 2007 ab, soweit es darauf eintrat.
B. In Bezug auf die FAK-Beiträge erhob K._ Beschwerde beim Verwaltungsgericht des Kantons Zug, welches die Beschwerde mit Entscheid vom 30. August 2007 abwies.
C. K._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der Entscheid des Verwaltungsgerichts des Kantons Zug vom 30. August 2007 sei aufzuheben.
Das kantonale Gericht und die Ausgleichskasse beantragen Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Das kantonale Gericht stützt die streitige Verpflichtung zu Schadenersatz auf kantonales Recht, nämlich auf § 28 des kantonalen Gesetzes vom 16. Dezember 1982 über die Kinderzulagen (KZG/ZG, BGS 844.4). Anders als die Verwaltungsgerichtsbeschwerde nach altem Recht (Art. 97 und 128 OG in Verbindung mit <ref-law>) ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht auch zulässig gegen Entscheide, die sich auf kantonales Recht stützen (<ref-law>; Seiler/von Werdt/Güngerich, Bundesgerichtsgesetz [BGG], Bern 2007, N 5 zu Art. 82). Je nach Verfügungsgrundlage ist jedoch die Überprüfungsbefugnis des Bundesgerichts unterschiedlich: Während Bundesrecht frei überprüft wird (<ref-law>), kann die Anwendung von kantonalem Recht, von hier nicht interessierenden Ausnahmen (Art. 95 lit. c und d BGG) abgesehen, nur auf eine Verletzung von Bundesrecht oder Völkerrecht hin gerügt werden (Art. 95 lit. a und b BGG). Das Bundesgericht kann nur eingreifen, wenn die Anwendung kantonalen Rechts zugleich eine Verletzung von Bundesrecht (mit Einschluss von Bundesverfassungsrecht) oder Völkerrecht darstellt (<ref-ruling> E. 1.2.1; Seiler/von Werdt/Güngerich, a.a.O., N 21 f. zu Art. 95).
1.2 Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (<ref-law>). Für die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht gilt demgegenüber ein qualifiziertes Rügeprinzip. Das Bundesgericht prüft diese Verletzungen nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Insoweit gelten die gleichen Begründungsanforderungen wie früher bei der staatsrechtlichen Beschwerde nach Art. 90 Abs. 1 lit. b OG (<ref-ruling> E. 2 S. 591 f.; <ref-ruling> E. 1.4). Das Bundesgericht untersucht nicht von sich aus, ob der angefochtene kantonale Entscheid die Grundrechte oder kantonales und interkantonales Recht verletzt, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und, soweit möglich, belegte Rügen; die erhobenen Rügen müssen zudem in der Beschwerdeschrift selber enthalten sein; der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.2 mit Hinweisen).
2. 2.1 Die Erhebung von öffentlich-rechtlichen Abgaben bedarf grundsätzlich einer formellgesetzlichen Grundlage (<ref-law>; <ref-ruling> E. 3; <ref-ruling> E. 4). Das Bundesgericht hat in E. 6 des zur Publikation in der Amtlichen Sammlung vorgesehenen Urteils 9C_704/2007 vom 17. März 2008 erkannt, dass § 28 KZG/ZG keine genügende gesetzliche Grundlage darstellt, um Schadenersatz für entgangene FAK-Beiträge zu erheben. Aufgrund dessen wäre der angefochtene Entscheid mangels gesetzlicher Grundlage (Verletzung des Legalitätsprinzips) ohne weiteres aufzuheben.
2.2 Indessen rügt die Beschwerdeführerin - anders als noch im kantonalen Verfahren, in welchem sie anwaltlich vertreten war - keine Verletzung des Legalitätsprinzips. Ob die Beschwerde Erfolg hat, hängt somit davon ab, ob das Legalitätsprinzip ein Grundrecht im Sinne von <ref-law> ist. Ist dies zu bejahen, kann das Bundesgericht mangels erhobener Rüge auf diese Frage nicht eingehen. Ist es zu verneinen, kann die Verletzung des Legalitätsprinzips gemäss <ref-law> von Amtes wegen berücksichtigt werden.
3. 3.1 Grundrechte im Sinne von <ref-law> sind zunächst die in den Art. 7 - 33 BV gewährleisteten Rechte und analoge Rechte aufgrund internationaler Menschenrechtskonventionen, namentlich der EMRK, mit Ausschluss von blossen Zielbestimmungen wie <ref-law> (Seiler/von Werdt/Güngerich, a.a.O., N 9 zu Art. 106; Meyer, in: Basler Kommentar zum Bundesgerichtsgesetz, Basel 2008, N 16 zu Art. 106). Den Grundrechten gleichgestellt hat die Rechtsprechung sodann unter Hinweis auf die frühere Rechtslage bei der staatsrechtlichen Beschwerde (Art. 84 Abs. 1 lit. a und Art. 90 Abs. 1 lit. b OG) sowie auf die Botschaft des Bundesrates vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege (BBl 2001 4344) auch andere verfassungsmässige Rechte wie die derogatorische Kraft des Bundesrechts (<ref-law>; <ref-ruling> E. 6.1 S. 31, 133 III 638 E. 2 S. 640).
3.2 Das in <ref-law> enthaltene Legalitätsprinzip ist grundsätzlich nicht ein verfassungsmässiges Grundrecht, sondern ein Verfassungsprinzip. Nach der zur ehemaligen staatsrechtlichen Beschwerde ergangenen Rechtsprechung konnte die Verletzung des Legalitätsprinzips daher nicht selbstständig gerügt werden, sondern nur im Zusammenhang mit dem Grundsatz der Gewaltentrennung oder einem anderen verfassungsmässigen Recht, indem geltend gemacht wurde, in dieses werde ohne genügende gesetzliche Grundlage eingegriffen (<ref-ruling> E. 3.1, 123 I 1 E. 2b). Als selbstständiges verfassungsmässiges Recht wurde jedoch das Legalitätsprinzip im Abgaberecht betrachtet; seine Verletzung konnte unmittelbar gestützt auf <ref-law> geltend gemacht werden (<ref-ruling> E. 2.2.1, 128 II 112 E. 5a).
3.3 Nach den dargelegten Grundsätzen könnte an sich die Verletzung des Legalitätsprinzips im Abgaberecht vom Bundesgericht nicht von Amtes wegen, sondern nur auf entsprechende Rüge hin beurteilt werden, was freilich unbefriedigend erscheinen mag, weil damit auch die Gesetzmässigkeit der Abgabeforderung nicht von Amtes wegen überprüft würde. Wie es sich damit verhält, kann jedoch mit Blick auf das Folgende offen bleiben.
4. Der angefochtene Entscheid datiert vom 30. August 2007. Das Urteil des Bundesgerichts BGE 9C_704/2007 vom 17. März 2008, in welchem erkannt wurde, dass § 28 KZG/ZG keine genügende gesetzliche Grundlage für die Erhebung von Schadenersatz für entgangene FAK-Beiträge darstellt, erging erst später und konnte der Vorinstanz nicht bekannt sein. Hätte sie vom bundesgerichtlichen Urteil bereits Kenntnis gehabt, hätte sie die Beschwerde gutgeheissen. Es erschiene stossend, die Beschwerdeführerin, die im kantonalen Verfahren die (wie sich im Verfahren 9C_704/2007 herausstellte) berechtigte Rüge der fehlenden gesetzlichen Grundlage erhoben hatte, einzig wegen der Zufälligkeit der zeitlichen Abläufe zu einer Schadenersatzpflicht zu verurteilen. Die Beschwerde ist daher gutzuheissen.
5. Die unterliegende Beschwerdegegnerin, die in ihrem Vermögensinteresse handelt, trägt die Kosten des Verfahrens (Art. 66 Abs. 1 und 4 BGG). Die nicht anwaltlich vertretene Beschwerdeführerin hat keinen Anspruch auf Parteientschädigung.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Zug vom 30. August 2007 und der Einspracheentscheid der Ausgleichskasse Zug vom 2. Juni 2006 werden aufgehoben.
2. Die Gerichtskosten von Fr. 600.- werden der Beschwerdegegnerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. April 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Maillard