Sachverhalt:
A. Mit Eingabe vom 24. Mai 2007 stellte die Z._ AG (Beschwerdegegnerin) in der Betreibung Nr. 1 des Betreibungsamtes A._ gegen die X._ AG (Beschwerdeführerin) das Begehren um definitive Rechtsöffnung für Fr. 169'241.-- nebst 10% Zins seit 5. April 2007. Am 18. September 2007 erteilte der Einzelrichter im summarischen Verfahren des Bezirks Bülach definitive Rechtsöffnung für den nachgesuchten Betrag sowie 10% Zins seit 18. April 2007. Gegen diesen Entscheid erhob die Beschwerdeführerin am 16. November 2007 beim Bundesgericht Beschwerde, auf welche dieses mit Urteil vom 5. Februar 2008 nicht eintrat und die Eingabe vom 16. November 2007 an das Obergericht des Kantons Zürich übermittelte. Mit Zirkular-Erledigungsbeschluss vom 26. April 2008 wies das Obergericht die Nichtigkeitsbeschwerde ab, soweit es auf sie eintrat.
B. Die Beschwerdeführerin erhebt Beschwerde in Zivilsachen mit dem Begehren, die definitive Rechtsöffnung sei zu verweigern, und es seien sowohl der Entscheid des Obergerichts vom 5. Februar 2008 als auch die Verfügung des Einzelrichters vom 18. September 2007 aufzuheben. Eventualiter verlangt sie Rechtsöffnung nur für einen Teilbetrag von Fr. 49'228.20 nebst Zins zu 5% seit 5. April 2007. Am 20. Juni 2008 hat der Präsident der II. zivilrechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.
Erwägungen:
1. 1.1 Bei den angefochtenen Entscheiden handelt es sich um solche in Schuldbetreibungs- und Konkurssachen, welche gemäss Art. 72 Abs. 2 lit. a BGG der Beschwerde in Zivilsachen unterliegen. Der Streitwert von 30'000 Franken wird erreicht (Art. 74 Abs. 2 BGG). Der Entscheid über die definitive Rechtsöffnung ist ein Endentscheid im Sinne von Art. 90 BGG. Schliesslich handelt es sich nicht um einen Entscheid über vorsorgliche Massnahmen, weshalb alle Rügen gemäss Art. 95 und 96 BGG zulässig sind (BGE 133 III 399). Auf die im Übrigen form- und fristgerecht eingereiche Beschwerde kann grundsätzlich eingetreten werden.
1.2 Gemäss der Rechtsprechung des Bundesgerichts kann auf direkt gegen erstinstanzliche Rechtsöffnungsentscheide des Kantons Zürich erhobene Beschwerden mangels Ausschöpfung des kantonalen Instanzenzugs nicht eingetreten werden. Der erstinstanzliche Entscheid muss zuerst vor Obergericht angefochten und mit Bezug auf Rügen, die das Obergericht nicht oder mit engerer Kognition als das Bundesgericht geprüft hat, anschliessend vor Bundesgericht mitangefochten werden. Im Bereich der Mitanfechtung bildet nicht der zweit-, sondern der erstinstanzliche Entscheid das Anfechtungsobjekt, was in den Rechtsbehren und in der Beschwerdebegründung zu berücksichtigen ist (BGE 134 III 141 E. 2).
1.3 Die Beschwerdeführerin hatte in der ursprünglich an das Bundesgericht gerichteten Beschwerde eine falsche Bundesrechtsanwendung und eine falsche Auslegung des Rechtsöffnungstitels gerügt. Das Bundesgericht überwies die Beschwerde von Amtes wegen an das Obergericht des Kantons Zürich zur Prüfung, ob es die Eingabe als kantonale Nichtigkeitsbeschwerde entgegennehmen könne, weil damals zum Rechtsmittelweg in zürcherischen Rechtsöffnungssachen noch keine publizierte Rechtsprechung bestand. Das Obergericht prüfte daher im angefochtenen Entscheid lediglich, ob die gerügten Rechtsverletzungen gleichzeitig auch als Verletzung klaren materiellen Rechts i.S. von § 281 Ziff. 3 ZPO ZH zu qualifizieren seien und hat diese Frage verneint. Nachdem die Beschwerdeführerin im vorliegenden Verfahren weiterhin keine klare, sondern eine einfache Verletzung materiellen Rechts rügt, steht als Anfechtungsobjekt der erstinstanzliche Rechtsöffnungsentscheid im Vordergrund.
2. Definitiver Rechtsöffnungstitel ist eine Verfügung des Handelsgerichts des Kantons Zürich vom 23. März 2005, mit welcher das Verfahren gestützt auf einen im Rahmen der Referentenaudienz vom 22. März 2005 abgeschlossenen Vergleich als erledigt abgeschrieben wurde.
2.1 Beruht die Forderung auf einem vollstreckbaren gerichtlichen Urteil, so ist gestützt auf Art. 80 Abs. 1 SchKG definitive Rechtsöffnung zu erteilen, wenn nicht der Betriebene nach Art. 81 Abs. 1 SchKG durch Urkunden beweist, dass die Schuld seit Erlass des Urteils getilgt oder gestundet worden ist, oder die Verjährung anruft. Handelt es sich um ein in einem andern Kanton ergangenes vollstreckbares Urteil, so kann der Betriebene überdies die Einwendung erheben, er sei nicht richtig vorgeladen worden oder nicht gesetzlich vertreten gewesen (Art. 81 Abs. 2 SchKG).
2.2 Die Beschwerdeführerin macht weder geltend, dass sie die Schuld getilgt habe, noch dass diese gestundet worden oder verjährt sei. Sie führt vielmehr aus, sie sei an den Vergleichsverhandlungen durch R._ und Rechtsanwalt S._ nicht gültig vertreten gewesen. Mit Beschluss vom 5. Januar 2005 habe der Verwaltungsrat R._ die Befugnis zur Einzelunterschrift entzogen, wobei die entsprechende Änderung im Handelsregister erst am 25. Juli 2005 erfolgt sei. Der damals ebenfalls anwesende Anwalt der Beschwerdeführerin, S._, habe lediglich über eine Vollmacht von R._ verfügt. Der Anwalt habe deshalb vollmachtlos gehandelt und damit die Beschwerdeführerin nicht gültig vertreten können. Sie sei nicht nur "nicht richtig vertreten", sondern "überhaupt nicht vertreten" gewesen, was gemäss anwendbarem Bundesrecht die Nichtigkeit der entsprechenden Handlungen der fremden Person zur Folge gehabt habe. Deswegen hätte der Beschwerdegegnerin nicht definitive Rechtsöffnung erteilt werden dürfen.
2.3 Der Einzelrichter hat im erstinstanzlichen Urteil ausgeführt, dass als definitiver Rechtsöffnungstitel auch Abschreibungsentscheide gelten, in denen ein gerichtlicher Vergleich festgehalten sei. Diese entfalten volle materielle Rechtskraft. Vollstreckbarkeit werde erlangt, wenn der Entscheid rechtskräftig und im Vollstreckungskanton als Vollstreckungstitel anerkannt sei. Die vom zuständigen Handelsgericht des Kantons Zürich am 23. März 2005 gefällte Abschreibungsverfügung, in welcher der gerichtliche Vergleich zwischen den Parteien festgehalten worden sei, stelle folglich ein Urteil im Sinne von Art. 80 Abs. 1 SchKG und daher einen Rechtsöffnungstitel dar. Das Handelsgericht habe zudem bestätigt, dass die Verfügung in Rechtskraft erwachsen sei. Bei dieser Sachlage handle es sich bei der vorgelegten Verfügung des Handelsgerichts um ein vollstreckbares gerichtliches Urteil im Sinne von Art. 80 Abs. 1 SchKG. Der Einwand der Beschwerdeführerin, sie sei im damaligen Verfahren nicht gehörig vertreten gewesen, sei unzulässig, wenn das Urteil, welches den Rechtsöffnungstitel bilde, im gleichen Kanton wie die Rechtsöffnung ergangen sei (Art. 81 Abs. 2 SchKG e contrario). Im Übrigen sei der Einwand auch unbegründet. Gemäss Protokoll der Referentenaudienz und Vergleichsverhandlung vom 22. März 2005 sei Rechtsanwalt S._ namens und mit Vollmacht der Beschwerdeführerin sowie in Begleitung von R._ erschienen. Als bevollmächtigter Vertreter der Beschwerdeführerin habe Rechtsanwalt S._ rechtsgültig in deren Namen den Vergleich abgeschlossen.
2.4 Es trifft zu, dass die Einwendung der nicht gesetzlichen Vertretung grundsätzlich ausschliesslich gegen ausserkantonale Zivilurteile, nicht aber gegen innerkantonale Entscheide erhoben werden kann (BGE 75 I 97 E. 3 S. 107). Anders verhält es sich nur, wenn der zu vollstreckende Entscheid geradezu nichtig ist. Die Nichtigkeit ist von Amtes wegen auch noch im Vollstreckungsverfahren zu beachten (BGE 127 II 32 E. 3g S. 48). Neben den in Art. 81 SchKG genannten Einreden kann der Schuldner daher der definitiven Rechtsöffnung auch Nichtigkeit des Vollstreckungstitels entgegenhalten. Fehlerhafte Entscheide sind nach der bundesgerichtlichen Rechtsprechung nichtig, wenn der ihnen anhaftende Mangel besonders schwer ist, wenn er offensichtlich oder zumindest leicht erkennbar ist und wenn zudem die Rechtssicherheit durch die Annahme der Nichtigkeit nicht ernsthaft gefährdet wird. Als Nichtigkeitsgründe fallen vorab funktionelle und sachliche Unzuständigkeit der entscheidenden Behörde sowie krasse Verfahrensfehler in Betracht. Verfahrensmängel, die in Gehörsverletzungen liegen, sind an sich heilbar und führen in der Regel nur zur Anfechtbarkeit des fehlerhaften Entscheids. Handelt es sich jedoch um einen besonders schwerwiegenden Verstoss gegen grundlegende Parteirechte, so haben auch Verletzungen des Anspruchs auf rechtliches Gehör Nichtigkeit zur Folge. Dies ist insbesondere dann der Fall, wenn der Betroffene von einer Entscheidung mangels Eröffnung gar nichts weiss, bzw. wenn er gar keine Gelegenheit erhalten hat, an einem gegen ihn laufenden Verfahren teilzunehmen (BGE 129 I 361 E. 2.1 S. 363f.). In einem alten Entscheid hat das Bundesgericht erkannt, die fehlende Vollmacht mache das Verfahren nicht ungültig, wenn sie ohne gleichzeitige Kenntnisgabe an das Gericht zurückgezogen worden ist (BGE 24 I 242 E. 2 S. 245).
2.5 Im vorliegenden Fall sind die strengen Voraussetzungen für die Annahme der Nichtigkeit nicht gegeben. R._ war bis im Januar 2005 einzelzeichnungsberechtigter Direktor der Beschwerdeführerin. Diese Berechtigung zur Einzelzeichnung wurde ihm offenbar am 5. Januar entzogen, was aber erst im Juli 2005 im SHAB publiziert und dem Gericht nicht mitgeteilt wurde. Rechtsanwalt S._ trat als bevollmächtigter Vertreter der Beschwerdeführerin zusammen mit R._ auf, auch wenn die Anwaltsvollmacht offenbar nur von diesem unterzeichnet worden war. Das Gericht führte den Anwalt zudem unwidersprochen im Protokoll als von der Beschwerdeführerin gehörig bevollmächtigt auf. Schliesslich ist R._ heute wieder für die Beschwerdeführerin einzelzeichnungsberechtigt. Bei dieser Sachlage kann weder gesagt werden, der dem Rechtsöffnungstitel anhaftende Mangel sei besonders schwer, noch war er offensichtlich oder überhaupt erkennbar und die Rechtssicherheit würde gefährdet, wenn wegen dem im massgeblichen Zeitpunkt ausschliesslich internen Entzug der Einzelzeichnungsberechtigung die gegenüber sämtlichen Beteiligten wirksame Nichtigkeitsfolge eintreten würde.
3. Weiter beanstandet die Beschwerdeführerin die Auslegung des Vergleichs vom 23. März 2005 durch die kantonalen Behörden. Sie beruft sich dabei nicht auf den tatsächlichen übereinstimmenden Willen der Parteien, sondern verlangt eine Auslegung nach dem Vertrauensprinzip. Die kantonalen Behörden haben auch keinen tatsächlichen Parteiwillen festgestellt, sondern haben den Vergleich nach Treu und Glauben ausgelegt. Dieses Auslegungsergebnis kann vom Bundesgericht als Rechtsfrage überprüft werden.
3.1 Aus der Verfügung vom 23. März 2005 ergibt sich, dass die Beschwerdegegnerin das Begehren gestellt hatte, die Beschwerdeführerin sei zu verpflichten, ihr Fr. 209'228.20 zuzüglich 10% Zins seit dem 13. Februar 2002 zu zahlen. Gemäss Ziffer 1 des Vergleichs hat die Beschwerdeführerin die Klage anerkannt. Gemäss Ziffer 2 hat sie sich verpflichtet, der Beschwerdegegnerin heute, 22. März 2005 Fr. 100'000.-- sowie dreimal Fr. 20'000.-- je am 1. März der Jahre 2006, 2007 und 2008 im Sinne von Fixterminen (Zahlungseingang) auf das von der Beschwerdegegnerin noch bekanntzugebende Konto zu bezahlen. Wenn die Beklagte die Zahlungen gemäss Ziffer 2 des Vergleichs fristgemäss zahlt, ist der Restbetrag der anerkannten Forderung nach Ziffer 3 erlassen. Wenn die Beschwerdeführerin eine der gemäss Ziffer 2 vorgesehenen Zahlungen nicht termingemäss leistet, wird der ganze dannzumal ausstehende Forderungsbetrag nach Ziffer 4 sofort zur Zahlung fällig.
Es ist nicht bestritten, dass die Teilzahlung vom 1. März 2007 verspätet erfolgt ist und daher Ziffer 4 des Vergleichs zur Anwendung gelangt. Umstritten ist, ob unter der "ganzen dannzumal ausstehenden Forderung" gemäss Ziffer 4 der von der Beschwerdegegnerin im Rechtsbegehren genannte Forderungsbetrag von Fr. 209'228.20 (plus Zins) abzüglich der bereits getätigten Zahlungen gemeint sei oder jener Betrag, welchen die Beschwerdeführerin gemäss Ziffer 2 des Vergleichs bezahlen muss, nämlich Fr. 160'000.-- (Fr. 100'000.-- plus 3 x Fr. 20'000.--) abzüglich der bereits getätigten Zahlungen.
3.2 Betrachtet man den Vergleich als Ganzes, fällt in Betracht, dass die Beschwerdeführerin in Ziffer 1 ausdrücklich die Klage anerkannt und damit eingeräumt hat, der Beschwerdegegnerin Fr. 209'228.20 zuzüglich 10% Zins seit 13. Februar 2002 zu schulden. Bei der anerkannten Forderung handelt es sich deshalb um diesen Betrag. Vergleichsweise haben sich die Parteien in Ziffer 2 auf eine Summe von insgesamt Fr. 160'000.-- geeinigt und die Beschwerdegegnerin hat sich bei fristgerechter Bezahlung bereit erklärt, der Beschwerdeführerin den Restbetrag der anerkannten Forderung zu erlassen. Wie ausgeführt, kann es sich bei der anerkannten Forderung auch gemäss Ziffer 3 nur um den Betrag von Fr. 209'228.20 plus Zins handeln. Während Ziffer 3 die Folgen regelt, wenn die Beschwerdeführerin fristgerecht bezahlt, ordnet Ziffer 4 die Folgen, wenn die Beschwerdeführerin nicht fristgerecht leistet. In diesem Fall wird der ganze dannzumal ausstehende Forderungsbetrag sofort zur Zahlung fällig. Bei diesem Forderungsbetrag muss es sich um denselben handeln, wie gemäss Ziffer 3, nämlich um den Betrag, der eingeklagt und in Ziffer 1 anerkannt worden ist, nämlich Fr. 209'228.20 plus Zins abzüglich der geleisteten Zahlungen.
3.3 An diesem Auslegungsergebnis ändert nichts, dass man den Vergleich auch anders hätte formulieren können und dass die Beschwerdeführerin die verspätet bezahlte letzte Rate mit dem Vermerk "per Saldo aller Ansprüche" versehen hat. Ebenso wenig ändert an diesem Auslegungsergebnis etwas, dass wegen der Verspätung ein recht erheblicher Betrag zuzüglich 10% Zins fällig wurde, denn die Beschwerdeführerin hat wie ausgeführt in Ziffer 1 die gesamte eingeklagte Forderung anerkannt. Schliesslich vermag auch der Umstand, dass die Beschwerdegegnerin bei einem früheren Zahlungsverzug vorerst lediglich die fällige Teilzahlung einforderte, das genannte Auslegungsergebnis nicht zu ändern.
4. Aus diesen Gründen muss die Beschwerde abgewiesen werden, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht geschuldet, weil in der Sache keine Vernehmlassung eingeholt worden ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 5'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Einzelrichter im summarischen Verfahren des Bezirks Bülach und dem Obergericht des Kantons Zürich, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 9. Juli 2008
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Raselli Schett