Sachverhalt:
A. Mit Verfügung vom 28. September 2004 eröffnete die Eidgenössische Bankenkommission über die Firma P._ AG den Konkurs. Mit Verfügung vom 10. Juli 2006 verpflichtete die Ausgleichskasse Zug D._ bis 10. September 2003 einziges Mitglied des Verwaltungsrates der Konkursitin, zur Bezahlung von Schadenersatz in der Höhe von Fr. 10'822.70 für unbezahlt gebliebene Beiträge. Am 20. Juli 2006 erging eine Schadenersatzverfügung über den nämlichen Betrag an G._ mit der Begründung, er sei ehemals faktisches Organ der Firma P._ AG gewesen und als solches schadenersatzpflichtig. Auf Einsprache der beiden Belangten hin hielt die Ausgleichskasse mit Entscheid vom 5. Oktober 2006 an ihrem Standpunkt fest.
B. In teilweiser Gutheissung der von G._ hiegegen eingereichten Beschwerde hob das Verwaltungsgericht des Kantons Schwyz den angefochtenen Einspracheentscheid auf und wies die Sache zu ergänzenden Abklärungen im Sinne der Erwägungen und neuer Verfügung an die Ausgleichskasse zurück (Entscheid vom 29. Januar 2007).
C. Die Ausgleichskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei G._ zur Bezahlung von Schadenersatz in der verfügten Höhe zu verpflichten; eventuell sei die Sache zu materieller Beurteilung an das kantonale Gericht zurückzuweisen.
Während G._ auf Abweisung der Beschwerde schliessen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
Das Verwaltungsgericht des Kantons Schwyz äussert sich in ablehnendem Sinne zur Beschwerde.

Erwägungen:
1. Streitig und zu prüfen ist, ob die Vorinstanz zu Recht die Sache an die Beschwerde führende Ausgleichskasse zurückgewiesen hat, damit diese, nach ergänzenden Abklärungen in tatsächlicher Hinsicht, über die Schadenersatzpflicht des Belangten neu entscheide.
2. 2.1 Die Beschwerde ist zulässig gegen Entscheide, die das Verfahren abschliessen (<ref-law>). Gegen selbstständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren ist die Beschwerde zulässig (<ref-law>). Gegen andere selbstständig eröffnete Vor- und Zwischenentscheide ist die Beschwerde nach <ref-law> zulässig:
a. wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können; oder
b. wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde.
2.2 In <ref-ruling> hat sich das Bundesgericht mit den in Art. 90 bis 93 BGG geregelten End-, Teil- sowie Vor- und Zwischenentscheiden befasst. Im Rahmen dieser Terminologie gelten als Endentscheide Entscheide, die das Verfahren prozessual abschliessen, sei es mit einem materiellen Entscheid oder Nichteintreten. Beim Teilentscheid wiederum handelt es sich um eine Variante des Endentscheids. Vor- und Zwischenentscheide sind alle Entscheide, die das Verfahren nicht abschliessen und daher weder End- noch Teilentscheide sind; sie können formell- oder materiellrechtlicher Natur sein. Ein Rückweisungsentscheid schliesst das Verfahren nicht ab und ist somit nach der Regelung des BGG kein Endentscheid. Dies gilt auch für Rückweisungsentscheide, mit denen eine materielle Grundsatzfrage entschieden wird.
2.3 Ein im Sinne von <ref-law> nicht wieder gutzumachender Nachteil ist gegeben, wenn er auch mit einem für die Beschwerde führende Partei günstigen Endentscheid nicht oder nicht gänzlich behoben werden kann (Urteil 9C_613/2007 vom 23. Oktober 2007 und 9C_301/2007 vom 28. September 2007). Die Rückweisung der Sache an die IV-Stelle zu weiterer oder ergänzender Abklärung und neuer Entscheidung stellt lediglich insoweit einen solchen Nachteil für die Verwaltung dar, als diese durch materielle Vorgaben wesentlich in ihrem Beurteilungsspielraum eingeschränkt wird und davon in der Folge nicht mehr abgewichen werden kann. Die Verpflichtung der IV-Stelle zur Vornahme weiterer oder ergänzender Abklärungen und zu neuer Entscheidung durch das kantonale Gericht stellt keinen im Sinne von <ref-law> nicht wieder gutzumachenden Nachteil dar. Dies gilt, selbst wenn die vorinstanzliche Feststellung, der rechtserhebliche Sachverhalt sei ungenügend abgeklärt, offensichtlich unrichtig wäre oder auf einer qualifiziert unrichtigen oder sogar willkürlichen Beweiswürdigung beruhte (Urteile 9C_613/2007 vom 23. Oktober 2007, 9C_301/2007 vom 28. September 2007). Auch im Bereich der AHV kann ein irreparabler Nachteil gemäss <ref-law> nur angenommen werden, wenn die Ausgleichskasse durch den Rückweisungsentscheid infolge materieller Vorgaben derart in ihrem Beurteilungsspielraum eingeschränkt wird, dass sie hievon in der Folge nicht mehr abweichen kann. Dies trifft bei der Verpflichtung der Ausgleichskasse zu weiteren Abklärungen und neuer Verfügung, wie im vorliegenden Fall, nicht zu.
3. Auch in Bezug auf den Eintretensgrund von <ref-law> ist die selbstständige Anfechtbarkeit von Zwischenentscheiden aus prozessökonomischen Gründen eine Ausnahme, die restriktiv zu handhaben ist. Dies umso mehr, als die Parteien keiner Rechte verlustig gehen, wenn sie einen Zwischenentscheid nicht selbst anfechten, können sie ihn doch mit dem Endentscheid anfechten, soweit er sich auf dessen Inhalt auswirkt (<ref-law>). Das Bundesgericht prüft nach freiem Ermessen, ob die Voraussetzung von <ref-law>, dass bei einer Gutheissung der Beschwerde ein bedeutender Aufwand an Zeit und Kosten für ein weitläufiges Beweisverfahren erspart werden kann, erfüllt ist (<ref-ruling> E. 3.2 S. 292; Urteil 9C_446/2007 vom 5. Dezember 2007, 8C_224/2007 vom 23. Oktober 2007, 1C_136/2007 vom 24. September 2007). Wie das Bundesgericht schon wiederholt entschieden hat, ist auf Beschwerden gegen vorinstanzliche Rückweisungsentscheide, mit denen einzig eine ergänzende Sachverhaltsabklärung angeordnet wird, auch unter dem Blickwinkel von <ref-law> in der Regel nicht einzutreten (Urteile 9C_446/2007 vom 5. Dezember 2007, 9C_234/2007 vom 3. Oktober 2007 und 9C_276/2007 vom 25. Juni 2007). Zwar würde die Gutheissung der von der Ausgleichskasse eingereichten Beschwerde, d.h. die Bejahung der Schadenersatzpflicht des Beschwerdegegners im Betrag von Fr. 10'822.70, sofort einen Endentscheid herbeiführen, womit ein gewisser Verfahrensaufwand vermieden werden könnte. Dies gilt jedoch insoweit nicht, als mit der Beschwerde eine Verletzung des rechtlichen Gehörs gerügt wird, weil D._, der den Einspracheentscheid vom 5. Oktober 2006 nicht angefochten hatte, von der Vorinstanz nicht zum Verfahren beigeladen worden sei. Denn eine Rückweisung durch das Bundesgericht zur Beiladung von D._ und damit zur Gewährung des rechtlichen Gehörs im kantonalen Verfahren wäre kein Endentscheid.
Indessen wird weder dargetan noch ist sonst ersichtlich, dass der mit einem Endentscheid eingesparte Aufwand bedeutend wäre. Wie das Bundesgericht des Weiteren im Urteil 9C_234/2007 dargelegt hat, darf sodann nicht ausser Acht gelassen werden, dass die Schlussfolgerung einer Vorinstanz, wonach der rechtserhebliche Sachverhalt nicht genügend abgeklärt sei, eine Tatfrage darstellt, welche das Bundesgericht nur mit eingeschränkter Kognition prüfen kann (Art. 97 Abs. 1 und 105 Abs. 2 BGG). Eine derartige vorinstanzliche Sachverhaltsfeststellung dürfte in der Regel nicht offensichtlich unrichtig sein, womit die Beschwerde ebenso regelmässig abzuweisen wäre, und der damit bezweckte Nutzen doch nicht einträte. Auch aus diesem Grund ist es gerechtfertigt, auf die Beschwerde gegen den angefochtenen Rückweisungsentscheid nicht einzutreten.

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1100.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat dem Beschwerdegegner für das Verfahren vor dem Bundesgericht eine Parteientschädigung von Fr. 500.- zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Januar 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer