Sachverhalt:
A. Die X._ GmbH betrieb Z._ für eine Forderung von Fr. 4'000.-- nebst Zins zu 5% seit dem 25. Juni 2009 (Betreibung Nr. xxx des Betreibungsamtes A._; Zahlungsbefehl vom 23. Oktober 2009). Nachdem Z._ Rechtsvorschlag erhoben hatte, gelangte sie mit einem Begehren um provisorische Rechtsöffnung für die genannte Forderung samt Zins an das Bezirksgericht Pfäffikon/ZH, welches das Begehren mit Entscheid vom 25. November 2010 abwies. Das Obergericht des Kantons Zürich trat auf eine Nichtigkeitsbeschwerde der X._ GmbH mit Erledigungsbeschluss vom 14. Juli 2011 nicht ein. Mit Urteil vom 24. Oktober 2011 erteilte ihr das Bundesgericht in Abänderung der Ziff. 1 des Erledigungsbeschlusses vom 14. Juli 2011 provisorische Rechtsöffnung für den ihn Betreibung gesetzten Betrag samt Zins und wies die Sache zur Neuverlegung der Kosten und Entschädigungen des kantonalen Verfahrens an das Obergericht des Kantons Zürich zurück (Urteil 5A_545/2011 vom 24. Oktober 2011).
B. Am 30. November 2011 beschloss das Obergericht, die Spruchgebühr für das erstinstanzliche Verfahren werde von der X._ GmbH bezogen, sei ihr aber von Z._ vollumfänglich zu ersetzen (Ziff. 1). Im Weiteren sprach es für das erstinstanzliche Verfahren keine Entschädigung zu (Ziff. 2); für das Kassationsverfahren erhob es keine Spruchgebühr und setze keine Entschädigung fest.
C. Die X._ GmbH (Beschwerdeführerin) hat am 20. Januar 2012 (Postaufgabe) gegen den Beschluss des Obergerichts des Kantons Zürich vom 30. November 2011 beim Bundesgericht Beschwerde in Zivilsachen erhoben; sie beantragt, ihr sei (in Abänderung von Ziff. 3 des obergerichtlichen Beschlusses) für das Verfahren vor Obergericht eine Parteientschädigung von Fr. 888.70 zuzusprechen.
D. Das Obergericht des Kantons Zürich hat seine Vernehmlassung am 27. Februar 2012 (Postaufgabe) eingereicht. Z._ hat sich nicht vernehmen lassen.
Erwägungen:
1. Angefochten ist ein letztinstanzlicher kantonaler Endentscheid betreffend Entschädigung in einem obergerichtlichen Verfahren (Art. 75 Abs. 1 und Art. 90 BGG). Gegen die Verweigerung einer Parteientschädigung ist die Beschwerde in Zivilsachen gegeben, wenn sie auch gegen die vor Obergericht strittigen Begehren in der Hauptsache zulässig gewesen wäre (BGE 137 III 47 E. 1.2). Vor Obergericht stand die Gewährung der provisorischen Rechtsöffnung für einen Betrag von Fr. 4'000.-- zur Diskussion, womit die Beschwerde in Zivilsachen in der Sache nicht zulässig war (Art. 74 Abs. 1 lit. b BGG). Entgegen der Auffassung der Beschwerdeführerin ist im vorliegenden Fall auch nicht zu prüfen, ob die Beschwerde in Zivilsachen aufgrund einer Rechtsfrage von grundsätzlicher Bedeutung zulässig wäre (Art. 74 Abs. 2 lit. a BGG): Die Beschwerdeführerin rügt in erster Linie eine willkürliche Anwendung kantonalen Rechts. Mit Bezug auf diese Rüge entspricht die Kognition des Bundesgerichts im Rahmen der subsidiären Verfassungsbeschwerde derjenigen im Anwendungsbereich der Beschwerde in Zivilsachen, womit sich die ausnahmsweise Zulassung der Beschwerde in Zivilsachen gestützt auf Art. 74 Abs. 2 lit. a BGG nicht rechtfertigt (BGE 134 I 184 E. 1.4). Auf die Beschwerde in Zivilsachen ist somit nicht einzutreten. Die Eingabe ist als subsidiäre Verfassungsbeschwerde entgegenzunehmen.
2. 2.1 Das Obergericht hat erwogen, der Beschwerdegegner habe sich dem Entscheid der ersten Instanz vom 25. November 2010 nicht angeschlossen, da er im Kassationsverfahren die Frist zur Einreichung einer Beschwerdeantwort unbenutzt habe verstreichen lassen. Es nahm daher die Kosten des Kassationsverfahrens gestützt auf den altrechtlichen § 66 Abs. 2 ZPO/ZH auf die Gerichtskasse und sprach der in der Sache obsiegenden Beschwerdeführerin (Gutheissung des Rechtsöffnungsbegehrens durch das Bundesgericht) für das Kassationsverfahren keine Entschädigung zu mit der Begründung, mangels gesetzlicher Grundlage bestehe keine Entschädigungspflicht des Staates.
2.2 Der Beschwerdeführer rügt eine willkürliche Auslegung von § 66 Abs. 2 ZPO/ZH und lässt zur Begründung ausführen, entgegen der Auffassung des Obergerichts habe kein Anwendungsfall von § 66 Abs. 2 ZPO/ZH vorgelegen, da das Verfahren im Widerspruch zu dieser Bestimmung von einer Partei veranlasst worden sei. Die Kostenverlegung hätte daher gestützt auf § 64 Abs. 2 ZPO/ZH erfolgen sollen, womit ihr (der Beschwerdeführerin) § 68 Abs. 2 ZPO/ZH zufolge eine Entschädigung entsprechend dem Verhältnis des Obsiegens hätte zugesprochen werden müssen.
2.3 Das Obergericht geht von einem Anwendungsfall von § 66 Abs. 2 ZPO/ZH aus und leitet daraus ab, dass eine Entschädigung nicht dem Beschwerdegegner auferlegt werden kann.
Nach § 66 Abs. 2 ZPO/ZH werden Kosten, die von keiner Partei veranlasst worden sind, auf die Gerichtskasse genommen. Die einschlägige Kommentierung zu dieser Bestimmung geht davon aus, die Kosten seien nach dieser Bestimmung zu verlegen, wenn die Rechtsmittelinstanz einen fehlerhaften, von keiner Partei beantragten Entscheid der Vorinstanz aufhebt, mit dem sich auch der Rechtsmittelbeklagte nicht identifiziert hat (Frank/Sträuli/Messmer, Kommentar zur zürcherischen Zivilprozessordnung, 3. Aufl. Zürich 2000, N. 5 zu § 66 ZPO/ZH). Wie die Beschwerdeführerin zu Recht beanstandet, gelangt hier § 66 Abs. 2 ZPO/ZH nicht zur Anwendung, zumal das Kassationsverfahren entgegen der offenbaren Auffassung des Obergerichts sehr wohl von einer Partei veranlasst worden ist: Die Beschwerdeführerin ist erstinstanzlich unterlegen und hat den für sie ungünstigen Entscheid mit Nichtigkeitsbeschwerde beim Obergericht des Kantons Zürich angefochten; sie hat alsdann dessen Nichteintretensentscheid mit Erfolg an das Bundesgericht weitergezogen, welches ihr in der Sache, wie beantragt, provisorische Rechtsöffnung erteilte (Urteil 5A_545/2011 vom 24. Oktober 2011). Abgesehen davon hält die einschlägige Kommentierung zu § 66 Abs. 2 ZPO/ZH nicht dafür, dass keine Entschädigung zu sprechen sei. Zwar teilen die Kommentatoren die Auffassung des Obergerichts, wonach der Staat in einem solchen Fall keine Entschädigung schuldet. Sie betonen aber ebenso unmissverständlich, dass diesfalls die Bemühungen durch die der unterliegenden Partei aufzuerlegende Parteientschädigung abzugelten seien (a.a.O., N. 5 zu § 66 ZPO/ZH). Schliesslich lässt das Obergericht den Grundsatz unbeachtet, wonach eine Gegenpartei ihre Parteistellung im Verfahren nicht dadurch verliert, dass sie sich der Vernehmlassung enthält, und bis zum Abschluss des Verfahrens das Prozess- und Kostenrisiko trägt (BGE 123 V 156 E. 3c S. 158, 159). Die Kosten des Rechtsmittelverfahrens hätten demzufolge grundsätzlich in Anwendung von § 64 Abs. 2 ZPO/ZH dem unterliegenden Beschwerdegegner auferlegt werden müssen, womit der in der Sache obsiegenden Beschwerdeführerin gestützt auf § 68 Abs. 2 ZPO/ZH eine volle Entschädigung zulasten des Beschwerdegegners zuzusprechen gewesen wäre. Das Obergericht hat damit wesentliche Verfahrensgrundsätze verkannt; der angefochtene Entscheid erweist sich in der Begründung und im Ergebnis als willkürlich (BGE 135 V 2 E. 1.3 S. 4 f.; 134 II 124 E. 4.1 S. 133; 132 III 209 E. 2.1 S. 211; je mit Hinweisen) und ist demzufolge bezüglich der Entschädigung aufzuheben.
3. Die Beschwerdeführerin verlangt mit ihrem reformatorischen Antrag, ihr sei ein Betrag von Fr. 888.70 zuzusprechen. Das Obergericht hat sich im angefochtenen Entscheid nur zum Grundsatz der Entschädigungspflicht geäussert und insbesondere keine Sachverhaltsfeststellungen zur Bemessung der Entschädigung getroffen. Unter den gegebenen Umständen ist das Bundesgericht nicht in der Lage, dem Antrag der Beschwerdeführerin zu entsprechen. Die subsidiäre Verfassungsbeschwerde ist demnach teilweise gutzuheissen; der angefochtene Entscheid ist aufzuheben und die Sache an die Vorinstanz zurückzuweisen, damit sie die Entschädigung nach § 68 Abs. 2 ZPO/ZH verlege und sie den einschlägigen Bestimmungen entsprechend festsetze.
4. Grundsätzlich gilt auch für das bundesgerichtliche Verfahren die Praxis gemäss BGE 123 V 156 und 159, wonach die Kosten und Entschädigungen aufgrund des Obsiegens bzw. Unterliegens nach Massgabe der Anträge des Rechtsmittelklägers zu verlegen sind; auf die Anträge des Rechtsmittelbeklagten kommt es nicht an. Dieser kann insbesondere den Kosten- und Entschädigungsfolgen nicht dadurch entgehen, dass er sich eines Antrages enthält (vgl. auch E. 2.3 hiervor). Nach der bundesgerichtlichen Praxis rechtfertigt sich indes eine Ausnahme von diesen Grundsätzen, wenn ein gravierender, vom Rechtsmittelbeklagten nicht mitverschuldeter Verfahrensfehler (Justizpanne) zur Gutheissung des Rechtsmittels führt und der Rechtsmittelbeklagte entweder die Gutheissung des Rechtsmittels beantragt oder sich eines Antrages enthalten hat (Beschluss der II. Zivilabteilung des Bundesgerichts vom 15. Juni 2004; vgl. auch Urteil 5A_371/2010 vom 31. August 2010 E. 4).
Im vorliegenden Fall hat eine krass falsche Anwendung der kantonalen Bestimmungen über die Gerichts- und Parteikosten durch das Obergericht zur teilweisen Gutheissung der subsidiären Verfassungsbeschwerde in der Frage der Entschädigung geführt. Der Beschwerdegegner hat diesen Fehler nicht mitzuverantworten und sich überdies vor Bundesgericht eines Antrages enthalten. Unter diesen Umständen rechtfertigt es sich, keine Kosten zu erheben (Art. 66 Abs. 4 BGG) und der Beschwerdeführerin für das bundesgerichtliche Verfahren eine wegen der nur teilweisen Gutheissung der Beschwerde reduzierte Entschädigung von Fr. 800.-- zulasten des Kantons Zürich zuzusprechen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. 1.1 Auf die Beschwerde in Zivilsachen wird nicht eingetreten. Die Eingabe wird als subsidiäre Verfassungsbeschwerde entgegengenommen und teilweise gutgeheissen.
1.2 Ziffer 3 des Beschlusses des Obergerichts des Kantons Zürich vom 30. November 2011 wird mit Bezug auf die Parteientschädigung für das kantonale Verfahren der Nichtigkeitsbeschwerde aufgehoben und die Sache wird im Sinn der Erwägungen an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Zürich hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 800.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 23. März 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zbinden