Sachverhalt: A. A.a Die V._ AG mit Sitz in A._ war der Ausgleichskasse Zug angeschlossen. Einzige Verwaltungsrätin dieser Firma war K._. Am 25. Mai 2005 wurde die Gesellschaft in O._ AG umbenannt und ihr Sitz nach B._ verlegt. Dort wurde sie am 27. Februar 2006 in Anwendung von Art. 708 Abs. 4 OR von Amtes wegen aufgelöst. Mit Verfügung vom 25. April 2006, bestätigt durch Einspracheentscheid vom 2. Juni 2006, verpflichtete die Ausgleichskasse Zug K._, ihr für entgangene paritätische Sozialversicherungsbeiträge Schadenersatz im Betrage von Fr. 24'363.65 zu bezahlen. Die Forderung betraf im Umfang von Fr. 2'379.40 Schadenersatz für kantonalrechtliche Beiträge an die Familienausgleichskasse (FAK-Beiträge), im Übrigen für die bundesrechtlichen Beiträge. A.b Hinsichtlich der bundesrechtlichen Beiträge erhob K._ Beschwerde beim Verwaltungsgericht des Kantons Graubünden. Dieses wies die Beschwerde am 3. Oktober 2006 ab. Eine dagegen erhobene Verwaltungsgerichtsbeschwerde wies das Bundesgericht im Verfahren H 8/07 mit Urteil vom 23. April 2007 ab, soweit es darauf eintrat. B. In Bezug auf die FAK-Beiträge erhob K._ Beschwerde beim Verwaltungsgericht des Kantons Zug, welches die Beschwerde mit Entscheid vom 30. August 2007 abwies. C. K._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der Entscheid des Verwaltungsgerichts des Kantons Zug vom 30. August 2007 sei aufzuheben. Das kantonale Gericht und die Ausgleichskasse beantragen Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.