Sachverhalt:
A. Mit Entscheid vom 17. Dezember 2007 erteilte das Kreisgerichtspräsidium Obertoggenburg-Neutoggenburg Y._ (im Folgenden: Beschwerdegegner) in der Betreibung Nr. 71'643 des Betreibungsamtes Wattwil die definitive Rechtsöffnung im Betrag von Fr. 100'723.25 nebst Zins zu 5% auf Fr. 84'870.45 seit 1. November 2007. Das Kreisgerichtspräsidium bejahte vorerst das Vorliegen eines definitiven Rechtsöffnungstitels im Betrag von Fr. 102'683.50 gestützt auf die rechtskräftigen Urteile des Kreisgerichts Obertoggenburg-Neutoggenburg vom 12. Mai 2005, des Kantonsgerichts St, Gallen vom 24. November 2006 und des Bundesgerichts vom 22. Oktober 2007 (4C.20/2007), mit welchen die X._ AG (im Folgenden: Beschwerdeführerin) zur Bezahlung von Fr. 73'838.35 nebst Zins zu 5% seit dem 15. Juli 2003 (bis 31. Oktober 2007 = Fr. 15'854.75) sowie Parteikostenentschädigungen von Fr. 4'990.40, Fr. 3'000.- und Fr. 5'000.- verpflichtet wurde. Von den von der Beschwerdeführerin erhobenen beiden Verrechnungseinreden anerkannte es mit Wirkung ab 24. Oktober 2007 jene im Betrag von Fr. 1'958.30 für eine mit Urteil des Kassationsgerichts des Kantons St. Gallen ihr zugesprochene Parteientschädigung. Eine Verrechungsforderung über Fr. 97'000.- für Schadenersatz gegenüber der geschiedenen Ehefrau des Beschwerdegegners, welche sich die Beschwerdeführerin hat abtreten lassen, anerkannte es nicht.
B. Gegen diesen Entscheid reichte die Beschwerdeführerin am 27. Dezember 2007 beim Kantonsgericht St. Gallen eine Rechtsverweigerungsbeschwerde ein. Mit Urteil vom 9. Januar 2008 wies das Kantonsgericht die Beschwerde vollumfänglich ab.
C. Die Beschwerdeführerin gelangt mit einer in einem einheitlichen Schriftsatz abgefassten Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde an das Bundesgericht mit dem Antrag, der Entscheid des Kantonsgerichts St. Gallen sei aufzuheben und an die Vorinstanz zurück zu weisen, eventuell sei die definitive Rechtsöffnung vollumfänglich aufzuheben. Sodann ersucht sie um Erteilung der aufschiebenden Wirkung. Die Beschwerdeführerin rügt eine Verletzung der Art. 81 Abs. 1 SchKG und Art. 9 BV. Auf deren Begründung wird, soweit erforderlich, in den Erwägungen eingegangen.
D. Mit Verfügung vom 27. Februar 2008 entsprach der Präsident der II. zivilrechtlichen Abteilung des Bundesgerichts dem Gesuch um aufschiebende Wirkung, nachdem sich der Beschwerdegegner ausdrücklich damit einverstanden erklärt hatte.
E. In der Sache sind die Akten, aber keine Vernehmlassungen eingeholt worden.
Erwägungen:
1. 1.1 Beim angefochtenen Entscheid handelt es sich um einen letztinstanzlichen (Art. 75 Abs. 1 BGG) kantonalen Entscheid, der das Rechtsöffnungsverfahren abschliesst, mithin um einen Endentscheid im Sinn von Art. 90 BGG. Gemäss Art. 72 Abs. 2 lit. a BGG unterliegen der Beschwerde in Zivilsachen auch Entscheide in Schuldbetreibungs- und Konkurssachen, also auch der angefochtene Rechtsöffnungsentscheid. Der erforderliche Streitwert von Fr. 30'000.- (Art. 74 Abs. 1 lit. b BGG) ist vorliegend gegeben, womit dem Eintreten auf die Beschwerde grundsätzlich nichts entgegensteht. Damit bleibt für die "ergänzende" subsidiäre Verfassungsbeschwerde kein Raum, was aber nicht hindert, die dort erhobenen Verfassungsrügen im Rahmen der Beschwerde in Zivilsachen (Art. 95 lit. a BGG) zu behandeln.
1.2 Mit der Beschwerde in Zivilsachen kann gegen den angefochtenen Rechtsöffnungsentscheid eine Verletzung von Bundesrecht gerügt werden (Art. 95 BGG). Das Bundesgericht überprüft die behauptete Verletzung dieses Rechts mit freier Kognition, währenddem es seinem Beschwerdeentscheid den von der Vorinstanz festgestellten Sachverhalt zu Grunde zu legen hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn die für den Verfahrensausgang entscheidenden Feststellungen offensichtlich unrichtig, d.h. willkürlich (Art. 9 BV) sind (BGE 133 II 249 E. 1.2.2) oder auf einer anderen Rechtsverletzung im Sinn von Art. 95 BGG beruhen und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann.
1.3 Die Beschwerde nach Art. 72 ff. BGG hat nebst einem Antrag eine Begründung zu enthalten, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 1 und 2 BGG), ansonsten auf die Beschwerde nicht eingetreten wird (Art. 108 Abs. 1 lit. b BGG). Das bedeutet, dass in der Beschwerdeschrift entsprechend den altrechtlichen Begründungsanforderungen des Art. 55 Abs. 1 lit. c OG (Botschaft zur Totalrevision der Bundesrechtspflege vom 28. Februar 2001, 4.1.2.4, BBl. 2001, S. 4294) auf die Erwägungen des angefochtenen Entscheids einzugehen und im Einzelnen zu zeigen ist, inwiefern der angefochtene Entscheid Bundesrecht verletzt. Die Gesetzesartikel brauchen allerdings nicht ausdrücklich genannt zu werden, falls aus den Vorbringen hervorgeht, gegen welche Regeln des Bundesrechts die Vorinstanz verstossen haben soll (BGE 116 II 745 E. 3 S. 749; 133 IV 286 E. 1.4).
Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift dargelegt werden, inwiefern diese Feststellung willkürlich oder durch eine andere Rechtsverletzung im Sinn von Art. 95 BGG (z.B. Art. 29 Abs. 2 BV oder Art. 8 ZGB) zustande gekommen ist (vgl. BGE 133 II 249 E. 1.2.2 und 1.4.3 S. 255).
1.4 Näherer Prüfung bedarf die Frage der Letztinstanzlichkeit (Art. 75 Abs. 1 BGG). Nach dem seit 1. Januar 2007 anwendbaren BGG haben die Kantone zwei Instanzen vorzusehen, denen mindestens die gleiche Kognition wie dem Bundesgericht zukommen muss (Art. 75 Abs. 1 i.V.m. Art. 111 Abs. 3 BGG); zur notwendigen Anpassung steht ihnen eine Übergangsfrist zu (Art. 130 Abs. 2 BGG). Der Kanton St. Gallen hat die nötigen Anpassungen noch nicht vorgenommen. Gemäss dem einschlägigen kantonalen Recht steht gegen definitive Rechtsöffnungsentscheide nur die Rechtsverweigerungsbeschwerde an das Kantonsgericht offen, bei welcher lediglich Rügen im Sinne von Art. 254 Abs. 1 lit. c ZPO/SG (abgesehen von hier nicht zur Diskussion stehenden Verfahrensfehlern - namentlich Willkür) geltend gemacht werden können. Die Vorinstanz hat sich nicht mit dieser prozessualen Konstellation auseinandergesetzt.
Fungiert aber das obere kantonale Gericht (hier das Kantonsgericht St. Gallen) als Rechtsmittelinstanz im Sinn von Art. 75 Abs. 2 BGG, so muss es angerufen werden, weil die Beschwerde in Zivilsachen nur gegen Entscheide letzter kantonaler Instanzen zulässig ist (Art. 75 Abs. 1 BGG). Daraus folgt einerseits, dass auf direkt gegen erstinstanzliche Rechtsöffnungsentscheide des Kantons St. Gallen eingereichte Beschwerden mangels Ausschöpfung des kantonalen Instan- zenzuges nicht eingetreten werden kann. Andererseits muss der erstinstanzliche Entscheid mit Bezug auf Rügen, welche das Kantonsgericht nicht oder mit engerer Kognition als das Bundesgericht geprüft hat, mitangefochten werden (BGE 133 III 687 E. 1.3 S. 690, mit Hinweisen). Im Bereich der Mitanfechtung bildet nicht der zweit-, sondern der erstinstanzliche Entscheid das Anfechtungsobjekt, was in den Rechtsbegehren und in der Beschwerdebegründung zu berücksichtigen ist.
Die gegen den Entscheid des Kantonsgerichts erhobene Beschwerde entspricht diesen Anforderungen, zumal die Beschwerdeführerin im Eventualbegehren die Aufhebung der definitiven Rechtsöffnung verlangt, mithin sinngemäss die Aufhebung des erstinstanzlichen Rechtsöffnungsentscheids. Deshalb sind die gegen den mitangefochtenen erstinstanzlichen Entscheid gerichteten materiellrechtlichen Rügen im Folgenden umfassend zu prüfen (Art. 95 und Art. 106 Abs. 1 BGG).
1.5 Auf die im Übrigen frist- und formgerecht eingereichte Beschwerde ist daher grundsätzlich einzutreten.
2. 2.1 Zunächst rügt die Beschwerdeführerin wie bereits vor dem Kantonsgericht, ein Rechtsöffnungstitel bestehe nur für Fr. 70'109.55, weil von dem Hauptbetrag von Fr. 73'838.35 die von der Beschwerdeführerin geleisteten Sozialversicherungsbeiträge in der Höhe von Fr. 3'728.80 abzuziehen seien. Sie brauche Zeit, um ihrer Abrechnungspflicht gegenüber den Sozialversicherungen zu erfüllen. Das Urteil des Bundesgerichts 4C.20/2007 sei erst am 23. Oktober 2007 rechtskräftig geworden. Erst danach habe sie die Forderung deklarieren können. Die rechnungsführende Ausgleichskasse habe am 19. Dezember 2007 verfügt. Schliesslich habe die Beschwerdeführerin die Sozialleistungen am 28. Dezember 2007 bezahlt.
Das Kantonsgericht hat die Willkürrüge zurückgewiesen, gleichzeitig aber auch erwogen, dass der im Dispositiv des Rechtsöffnungstitels hinsichtlich der Sozialbeiträge gemachte Vorbehalt von deren nachgewiesenen Leistung abhänge. Der Hinweis der Beschwerdeführerin, dass die Abrechnung bzw. die Leistung dieser Beiträge gar nicht möglich sei, solange diese nicht verlangt worden seien, geht auf Grund des diesbezüglich klaren Dispositivs ("...unter Reduktion um nachweislich von der Beklagten geleistete Sozialbeiträge") an der Sache vorbei. Die Beschwerdeführerin macht aber auch geltend, diese Beiträge inzwischen bezahlt zu haben, und legt dem Bundesgericht die fragliche Verfügung der Ausgleichskasse samt Zahlungsbelege zum Beweis vor (Beschwerdebeilage 12).
2.2 In der Beschwerde in Zivilsachen dürfen keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (Art. 99 BGG). Wird ein Novum vorgetragen, ist in der Beschwerde darzutun, inwiefern die erwähnte Voraussetzung erfüllt ist (BGE 133 III 393 E. 3).
Gemäss einer am 4. Januar 2008 datierten Belastungsanzeige der UBS hat die Beschwerdeführerin die Zahlung am 27. Dezember 2007 in Auftrag gegeben, die valuta 31. Dezember 2007 belastet worden ist. Aus den vorinstanzlichen Akten geht zudem hervor, dass die Beschwerdeführerin dem Kantonsgericht St. Gallen mit Schreiben vom 10. Januar 2008 - mithin am Tag der Zustellung des angefochtenen Kantonsgerichtsentscheids - eine Kopie der Verfügung der Ausgleichskasse vom 19. Dezember 2007 hat zukommen lassen, allerdings offenbar ohne Kopie der Belastungsanzeige.
Die Beschwerdeführerin beanstandet die Erwägung des Kantonsgerichts nicht, wonach die Sozialversicherungsbeiträge nur dann vom geschuldeten Betrag abgezogen werden können, wenn der Schuldner nachweist, dass er diese tatsächlich bezahlt hat. Vielmehr macht sie geltend, sie habe die Sozialversicherungsbeiträge vor dem erstinstanzlichen Entscheid gar nicht bezahlen können, und diese seien zwischenzeitlich bezahlt. Die Beschwerdeführerin tut jedoch in keiner Art und Weise dar, inwiefern die Bedingung für eine nachträgliche Einreichung von Beweismitteln erfüllt sein soll. Sie hat die Reduktion des geschuldeten Betrages bereits erstinstanzlich geltend gemacht und die unterlassene Anrechnung auch vor dem Kantonsgericht gerügt. Demzufolge geht es nicht um eine Frage, zu deren Geltendmachung erst die Begründung des angefochtenen Entscheids Anlass gegeben hat. Deshalb sind diese neuen Beweismittel vor Bundesgericht unzulässig; sie müssen aus den Akten gewiesen werden.
3. 3.1 Die Beschwerdeführerin hat im Rahmen des Rechtsöffnungsverfahrens die Einrede der Verrechnung erhoben. Der Vorinstanz bemerkte dazu, zwar sei die Verrechnung als Tilgung im Sinn von Art. 81 Abs. 1 SchKG grundsätzlich zulässig, doch müsse der Beweis der Tilgung durch Verrechnung durch eine Urkunde erbracht werden, die zumindest zur provisorischen Rechtsöffnung berechtige (E. 4c). Ein solches Dokument liege nicht in den Akten, was selbst die Beschwerdeführerin nicht behaupte, weshalb sich die Einrede der Tilgung als unbehelflich erweise. In ihrer Beschwerde macht die Beschwerdeführerin geltend, entgegen der Auffassung des Kantonsgerichts genüge unter den vorliegenden Umständen der einfache Urkundenbeweis.
3.2 Die Rüge erweist sich als unbegründet. Die Auffassung des Kantonsgerichts entspricht der bundesgerichtlichen Praxis (BGE 115 III 99 E. 4) und wird überdies auch von der neueren Lehre vertreten (Staehelin, Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, SchKG I, Basel 1998, N. 10 zu Art. 81 SchKG, mit weiteren Hinweisen). Das Kantonsgericht stellte zutreffenderweise fest, dass die Beschwerdeführerin keine Urkunden beigebracht habe, die zumindest zur provisorischen Rechtsöffnung berechtigten. Auch in ihrer Beschwerde an das Bundesgericht behauptet die Beschwerdeführerin nicht, sie habe den Beweis für die Verrechnungsforderung durch derartige Urkunden erbracht. Sie macht lediglich geltend, die Forderung sei aus rechtskräftigen Urteilen "errechenbar". Sodann erachtet sie die (Verrechnungs-)Forderung als ausgewiesen, weil ein Richter den Beschwerdegegner wegen Prozessbetrugs angezeigt habe. So unbefriedigend die Situation aus der Sicht der Beschwerdeführerin erscheinen mag, sieht das Bundesgericht keinen Anlass, von seiner bisherigen Rechtsprechung abzuweichen. Im Rechtsöffnungsverfahren ist es nicht Aufgabe der Gerichte, materiellrechtliche Fragen im Zusammenhang mit der zur Verrechnung gestellten Forderung zu entscheiden; dies bleibt dem sachlich zuständigen Gericht vorbehalten (BGE 124 III 501 E. 3 S. 503). Damit ist im angefochtenen Entscheid keine Verletzung von Art. 81 Abs. 1 SchKG ersichtlich.
4. Schliesslich rügt die Beschwerdeführerin das Urteil in allgemeiner Weise als unhaltbar und willkürlich, weil sich ein Betrugsschaden aus rechtskräftigen Gerichtsurteilen einfach und genau errechnen lasse. Zudem sei die Auffassung der Vorinstanz willkürlich, dass die zur Verrechnung gestellte Forderung selbst auf einem vollstreckbaren Urteil beruhen müsse.
Abgesehen davon, dass auf die Rüge mangels Substantiierung nicht einzutreten ist, kann Willkur umso weniger vorliegen, als in freier Prüfung die Verrechnungsvoraussetzungen verneint wurden (E. 3.2 hiervor).
5. Damit ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1 BGG). Für das Verfahren um aufschiebende Wirkung sind, nachdem der Beschwerdegegner ausdrücklich zugestimmt hat, keine Kosten auszuscheiden. Dem Beschwerdegegner ist für das bundesgerichtliche Verfahren keine Entschädigung zuzusprechen, da in der Hauptsache keine Vernehmlassung eingeholt worden ist.
erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 3'000.- werden der Beschwerdeführerin auferlegt.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Präsident der III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. März 2008
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Raselli Schett