Sachverhalt:
A.
A.a. In der vom Kanton Zürich, Zentrale Inkassostelle der Gerichte/ Obergericht, gegen X._ eingeleiteten Betreibung Nr. 1 für die Forderung von Fr. 1'750.-- stellte das Betreibungsamt Kloten am 15. September 2010 den Zahlungsbefehl zu. Der Schuldner erhob Rechtsvorschlag.
A.b. Am 18. Oktober 2010 verlangte der Betreibungsgläubiger beim Bezirksgericht Bülach, Einzelgericht, die definitive Rechtsöffnung für die Betreibungsforderung sowie für Kosten und Entschädigung. Als Rechtsöffnungstitel wurden zwei Entscheide des Obergerichts vom 22. Februar 2006 bzw. 14. August 2007 sowie der Beschluss des Handelsgerichts des Kantons Zürich vom 23. Februar 2010 vorgelegt, mit welchen X._ zur Bezahlung von Gerichtsgebühren von insgesamt Fr. 1'750.-- verpflichtet wurde.
A.c. Mit Verfügung vom 18. Januar 2011 erteilte der Einzelrichter am Bezirksgericht wie anbegehrt die definitive Rechtsöffnung.
B.
Gegen den Rechtsöffnungsentscheid gelangte X._ an das Obergericht des Kantons Zürich und verlangte die Aufhebung der erstinstanzlichen Verfügung. Das Obergericht wies die Beschwerde mit Urteil vom 31. August 2011 ab, soweit darauf eingetreten wurde.
C.
Mit Eingabe vom 10. Oktober 2011 hat X._ "Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde" erhoben. Er beantragt die Feststellung einer Reihe von Rechtsverletzungen und die Aufhebung des Urteils des Obergerichts des Kantons Zürich vom 31. August 2011 und die Rückweisung der Sache zu neuer Entscheidung an den Rechtsöffnungsrichter. Weiter verlangt er die Gewährung der unentgeltlichen Rechtspflege für das kantonale Verfahren.
Der Beschwerdeführer ersucht um aufschiebende Wirkung und unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren.
Mit Präsidialverfügung vom 13. Oktober 2011 wurde mit Rücksicht auf das Gesuch um unentgeltliche Rechtspflege von der Einforderung eines Kostenvorschusses abgesehen und der Entscheid über das Gesuch ausgesetzt. Mit Verfügung der Instruktionsrichterin vom 12. Januar 2012 wurde das Gesuch um Mitteilung der Zusammensetzung der erkennenden Abteilung des Bundesgerichts im Sinne der Erwägung sowie das Gesuch um aufschiebende Wirkung abgewiesen; das Gesuch um Akteneinsicht wurde gutgeheissen. Das Gesuch um Wiedererwägung der Präsidialverfügung vom 13. Oktober 2011 betreffend unentgeltliche Rechtspflege wurde abgewiesen.
Die Vorinstanz hat die Vorakten eingesendet und auf eine Stellungnahme in der Sache verzichtet. Der Staat Zürich als Betreibungsgläubiger und Beschwerdegegner hat sich nicht vernehmen lassen.

Erwägungen:
1.
1.1. Gemäss <ref-law> unterliegen der Beschwerde in Zivilsachen die Entscheide in Schuldbetreibungs- und Konkurssachen. Darunter fällt der angefochtene Entscheid über die definitive Rechtsöffnung (<ref-ruling> E. 1.2). Der für vermögensrechtliche Angelegenheiten vorausgesetzte Streitwert von mindestens Fr. 30'000.-- wird nicht erreicht (<ref-law>), sodass nur die subsidiäre Verfassungsbeschwerde, mit welcher ein Endentscheid nach <ref-law> angefochten wird, zulässig ist.
1.2. Der Beschwerdeführer muss angeben, welches verfassungsmässige Recht verletzt wurde, und substantiiert darlegen, worin die Verletzung besteht. Das Bundesgericht kann die Verletzung eines Grundrechts nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 3.2 S. 444). Soweit der Beschwerdeführer lediglich die unrichtige Anwendung von kantonalen Gesetzen oder Bundesgesetzen rügt, genügt die Eingabe den Begründungsanforderungen nicht.
1.3. Soweit der Beschwerdeführer vorbringt, dass im kantonalen Rechtsmittelverfahren "befangene und ihm feindlich gesinnte Richter" teilgenommen hätten, ist sein Vorbringen unbehelflich. Mit Beschluss vom 15. Juli 2011 hat das Obergericht sein Begehren um Ablehnung der Oberrichter A._ und B._ abgewiesen. Dieser Entscheid kann nicht mehr angefochten werden (<ref-law>). Inwiefern die Mitwirkung der weiteren kantonalen Gerichtspersonen gegen verfassungsmässige Rechte verstossen soll, wird nicht dargelegt (<ref-law>).
1.4. Der Beschwerdeführer verlangt unter Hinweis auf Art. 6 Ziff. 1 EMRK ein mündliches und öffentliches Verfahren vor Bundesgericht. Die mündliche und öffentliche Parteiverhandlung sowie Beratung sind in Art. 57 bis <ref-law> geregelt; die Voraussetzungen sind vorliegend nicht erfüllt. Soweit das Bundesgericht eine Beschwerde gegen einen Entscheid der letzten kantonalen Instanz zu beurteilen hat (<ref-law>), kann - wie hier - die Frage, ob das Verfahren den Öffentlichkeitserfordernissen genügt, bereits zum Gegenstand der Beschwerde gemacht werden.
2.
Das Obergericht hat zunächst (unter Hinweis auf <ref-law>) festgehalten, dass für das (am 1. Januar 2011 bereits) hängige Verfahren vor der Erstinstanz das bisherige Verfahrensrecht bzw. die ZPO/ZH massgebend sei. Nach kantonalem Recht (§ 213 Ziff. 2 i.V.m. <ref-law>/ZH) sowie nach <ref-law> könne der Rechtsöffnungsrichter dem Betriebenen Gelegenheit zur mündlichen oder schriftlichen Stellungnahme geben. Zu Recht habe hier die Erstinstanz keine Notwendigkeit für eine mündliche Verhandlung gesehen. Auf das Rechtsöffnungsverfahren sei Art. 6 Ziff. 1 EMRK nicht anwendbar. Sodann habe der Beschwerdeführer nicht um die Durchführung einer mündlichen Verhandlung ersucht. Entgegen der Auffassung des Beschwerdeführers stehe der Rechtsöffnung keine Nichtigkeit der Betreibung entgegen. Die Gewährung der unentgeltlichen Rechtspflege ist vom Obergericht wegen Aussichtslosigkeit der Begehren verweigert worden.
3.
Anlass zur vorliegenden Beschwerde gibt die Rechtsöffnung für Gerichtsgebühren, zu deren Zahlung der Beschwerdeführer in drei kantonalen Urteilen verpflichtet wurde. Beruht die Forderung auf einem vollstreckbaren Entscheid eines schweizerischen Gerichts oder einer schweizerischen Verwaltungsbehörde, so wird die definitive Rechtsöffnung erteilt, wenn nicht der Betriebene durch Urkunden beweist, dass die Schuld seit Erlass des Entscheids getilgt oder gestundet worden ist, oder die Verjährung anruft (<ref-law>). Der Beschwerdeführer wirft dem Obergericht in formeller Hinsicht eine Verletzung insbesondere der EMRK vor, weil sein Anspruch auf Mündlichkeit des Verfahrens verletzt worden sei. In der Sache sei bei der Beurteilung des Rechtsöffnungsgesuchs die Nichtigkeit der Betreibung verkannt worden.
3.1. Nach <ref-law> sind Gerichtsverhandlungen öffentlich, wobei das Gesetz Ausnahmen vorsehen kann. Nach <ref-law> kann der Rechtsöffnungsrichter dem Betriebenen Gelegenheit zur mündlichen oder schriftlichen Stellungnahme geben. Nichts anderes gilt nach dem massgebenden kantonalen Recht (§ 213 Ziff. 2 i.V.m. <ref-law>/ZH), wobei der Richter das Verfahren (Mündlichkeit oder schriftliche Beantwortung) je nach der Eigenart des Falles wählt ( FRANK/STRÄULI/MESSMER, Kommentar zur ZPO/ZH, 3. Aufl. 1997, N. 8 zu § 206). Zu prüfen ist, ob mit der EMRK vereinbar ist, wenn vorliegend die definitive Rechtsöffnung ohne mündliche Verhandlung erteilt worden ist.
3.1.1. Die Garantien gemäss Art. 6 Ziff. 1 EMRK finden auf Verfahren über u.a. zivilrechtliche Streitigkeiten Anwendung. Als "zivilrechtlich" im Sinne der Bestimmung gilt auch die Kostenfestsetzung, wenn die geltend gemachten Gerichtskosten in einem zivilrechtlichen Streit entstanden sind (Urteil 5A_208/2011 des Bundesgerichts vom 24. Juni 2011 E. 5.2, mit Hinw. auf Urteil Nr. 40324/98 des Europäischen Gerichtshofes für Menschenrechte [EGMR] vom 12. April 2006, Süss gegen Deutschland, § 113). Dass die vom Kanton in Betreibung gesetzten Gerichtskosten auf zivilrechtliche Streitigkeiten zurückgehen und daher "zivilrechtlich" im Sinn von Art. 6 Ziff. 1 EMRK sind, steht nicht in Frage. Die Garantie erstreckt sich sodann auch auf das Verfahren zur Vollstreckung einer Entscheidung über einen zivilrechtlichen Anspruch ( GRABENWARTER/PABEL, Europäische Menschenrechtskonvention, 5. Aufl. 2012, § 24 Rz. 14, S. 391) und ist daher auch auf rein betreibungsrechtliche Streitigkeiten - wie das Verfahren vor dem Rechtsöffnungsrichter - grundsätzlich anwendbar (vgl. <ref-ruling> E. 4.5.1 S. 389; Urteil 1P.512/2004 des Bundesgerichts vom 6. Januar 2005 E. 2.2, ZBl 2005 S. 327 ff.). Die Vorinstanz hat die Anwendbarkeit von Art. 6 Ziff. 1 EMRK zu Unrecht verneint.
3.1.2. Nach Art. 6 Ziff. 1 EMRK besteht in Verfahren über zivilrechtliche Streitigkeiten ein Anspruch auf öffentliche Verhandlung (<ref-ruling> E. 2a S. 45, mit Hinw.). Die Rechtsprechung erlaubt die Ausnahme vom Grundsatz der Öffentlichkeit, wenn eine Streitsache keine Tatsachen- oder Rechtsfragen aufwirft, die nicht adäquat aufgrund der Akten oder schriftlichen Parteivorbringen gelöst werden können (Entscheid Nr. 42756/02 des EGMR vom 17. Januar 2006, Luginbühl gegen Schweiz, Erw. A.1). Bei der Annahme einer solchen Ausnahme ist die Rechtsprechung eher zurückhaltend (vgl. GRABENWARTER/PABEL, a.a.O., § 24 Rz. 90, S. 438, mit weiteren Hinw.). Unter die Ausnahme fällt der Entscheid über die Verlegung der Kosten in einem gegenstandslos gewordenen Verfahren (Urteil 5A_208/2011 des Bundesgerichts vom 24. Juni 2011 E. 5.2). Hingegen hat der EGMR für das Verfahren der Konkurseröffnung entschieden, dass insbesondere mit Blick auf die erhebliche Wirkung des Entscheides auf das Vermögen des Schuldners - Eröffnung der Generalexekution - die Ausnahme vom Grundsatz der Öffentlichkeit zu verneinen ist (Urteil Nr. 48962/99 des EGMR vom 5. Juli 2005, Exel gegen Tschechische Republik, §§ 55, 57). Ob die Verhandlung über die Rechtsöffnung - die Bewilligung zur Spezialexekution bzw. zum Eingriff in das Vermögen des Schuldners - vom Grundsatz der Öffentlichkeit ausgenommen werden kann, ist noch nicht geklärt. In der Lehre wird der Anspruch auf eine öffentliche Rechtsöffnungsverhandlung bejaht, wenn auch ohne einlässliche Begründung ( D. STAEHELIN, in: Basler Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, 2. Aufl. 2010, N. 41 zu Art. 84). Die Frage, ob für die (hier: definitive) Rechtsöffnung eine Ausnahme vom Grundsatz der Öffentlichkeit möglich ist, braucht - wie sich aus dem Folgenden ergibt - nicht abschliessend erörtert zu werden.
3.1.3. Ein Anspruch auf öffentliche Verhandlung nach Art. 6 Ziff. 1 EMRK besteht, sofern die Parteien nicht ausdrücklich oder stillschweigend darauf verzichten (<ref-ruling> E. 2a S. 45; vgl. GRABENWARTER/ PABEL, a.a.O., § 24 Rz. 91 f., mit weiteren Hinw.; STAEHELIN, a.a.O., N. 41 zu Art. 84, betreffend Rechtsöffnungsverfahren). Der Beschwerdeführer macht geltend, er habe "seine Antragspflicht nach Treu und Glauben erfüllt". Mit diesem Vorbringen geht er fehl.
Nach den vorinstanzlichen Sachverhaltsfeststellungen wandte sich der Beschwerdeführer nach Zusendung des Rechtsöffnungsgesuches am 14. November 2010 an das Bezirksgericht und verlangte, die Frist zur "schriftlichen Stellungnahme" zu verlängern, was ihm gewährt wurde. Am 29. November 2010 beantragte er eine weitere Verlängerung der Frist und hielt fest: "Sollten Sie meinem Antrag nicht stattgeben können, beantrage ich die Durchführung einer mündlichen Verhandlung". Da der Rechtsöffnungsrichter die Fristerstreckung gewährte, durfte er gestützt auf die klaren Vorbringen in den Eingaben vom 14. und 29. November 2010 annehmen, dass der Beschwerdeführer auf eine mündliche Verhandlung verzichte bzw. mit dem schriftlichen Verfahren einverstanden sei. Am 15. Dezember 2010 reichte der Beschwerdeführer dementsprechend seine schriftliche Stellungnahme ein. Gestützt auf die konkreten, nach Treu und Glauben zu beurteilenden Sachumstände (<ref-ruling> E. 4.4 S. 237) ist nicht ersichtlich, dass die kantonalen Instanzen einen Antrag auf ein mündliches Verfahren übergangen hätten. Daran ändert nichts, dass der Beschwerdeführer in seiner schriftlichen Stellungnahme vom 15. Dezember 2010 zum Rechtsöffnungsgesuch festgehalten hat, "Anspruch auf eine mündliche und öffentliche Verhandlung" zu haben. Er übergeht, dass - wie von ihm mit Eingaben vom 14. und 29. November 2010 beantragt - ein schriftliches Rechtsöffnungsverfahren durchgeführt worden ist. Die Minimalgarantie nach Art. 6 Ziff. 1 EMRK verlangt nicht, dass nach Verzicht auf ein mündliches und Durchführung des schriftlichen Verfahrens nochmals Anspruch auf ein mündliches Verfahren zu gewähren sei.
3.1.4. Nach dem Dargelegten ist mit der EMRK vereinbar, wenn die definitive Rechtsöffnung ohne mündliche Verhandlung erteilt worden ist. Inwieweit die vom Beschwerdeführer angerufenen Bestimmungen (wie aus der BV und dem UNO-Pakt über die politischen und bürgerlichen Rechte) einen weitergehenden Anspruch gewähren und dieser verletzt sein soll, wird in der Beschwerdeschrift nicht dargelegt.
3.2. Der Beschwerdeführer hat keine der in <ref-law> erwähnten Einwendungen erhoben. Es steht nicht in Frage, dass die vom Gläubiger in Betreibung gesetzten Gerichtsgebühren auf vollstreckbaren kantonalen Gerichtsurteilen beruhen. Er macht einzig geltend, die Betreibung sei rechtsmissbräuchlich und daher nichtig.
3.2.1. Es trifft zu, dass bei Nichtigkeit der Betreibung auf ein Rechtsöffnungsgesuch nicht eingetreten werden kann ( STAEHELIN, a.a.O., N. 12 zu Art. 84, mit Hinw.). Nichtigkeit wegen Rechtsmissbrauch kann dann vorliegen, wenn mit einer Betreibung sachfremde Ziele verfolgt werden, wenn also etwa bloss die Kreditwürdigkeit des (angeblichen) Schuldners geschädigt werden soll, wenn zwecks Schikane ein völlig übersetzter Betrag in Betreibung gesetzt wird, oder wenn offensichtlich ist, dass ein Gläubiger mit einer Betreibung insbesondere bezweckt, den Betriebenen mit Absicht zu schikanieren (vgl. <ref-ruling> E. 3b S. 21; zuletzt: Urteil 5A_588/2011 des Bundesgerichts vom 18. November 2011 E. 3.2). Entgegen der Auffassung des Beschwerdeführers liegt indessen keine rechtsmissbräuchliche bzw. nichtige Betreibung vor, wenn ein Schuldner Sozialhilfeempfänger ist und unter dem Existenzminimum lebt. Der Schluss der Vorinstanz, es liege ein gültige Betreibung vor, ist nicht zu beanstanden.
3.2.2. Im Weiteren übergeht der Beschwerdeführer, dass im Fall einer nachfolgenden Pfändung bestimmte Vermögenswerte unpfändbar sind und das Erwerbseinkommen jeder Art nur soweit pfändbar ist, als es für den Schuldner und seine Familie nicht unbedingt notwendig ist (Art. 92, Art. 93 SchKG). Diese Regeln konkretisieren durch die Verfassung (vgl. <ref-law>) geschützte Rechte des Schuldners (vgl. Urteil 5A_194/2008 des Bundesgerichts vom 21. April 2008 E. 4.1). Eine Pfändung ist jedoch nicht Gegenstand des vorliegenden Verfahrens. Darauf haben die kantonalen Instanzen zu Recht hingewiesen, so dass die weiteren Vorbringen des Beschwerdeführers nicht zu erörtern sind. Eine Rechtsverletzung liegt insoweit nicht vor, und sie wird durch die weiteren Ausführungen nicht dargetan (<ref-law>).
4.
Schliesslich rügt der Beschwerdeführer, dass ihm im kantonalen Verfahren die unentgeltliche Rechtspflege verweigert worden ist. Nach <ref-law> hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Zur Beurteilung der Aussichtslosigkeit ist massgebend, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde (<ref-ruling> E. 2.3.1 S. 135).
4.1. Das Obergericht hat die erstinstanzliche Auffassung, wonach die Vorbringen des Beschwerdeführers aussichtslos seien, bestätigt und dies auch für das zweitinstanzliche Verfahren angenommen. Aus dem angefochtenen Entscheid geht allerdings hervor, dass "eine Minderheit des Gerichts eine abweichende Meinung zu Protokoll gegeben hat". Nach dieser Meinung sollte die Beschwerde gutgeheissen, der Rechtsöffnungsentscheid aufgehoben und die Durchführung einer mündlichen Rechtsöffnungsverhandlung angeordnet werden. Wenn feststeht, dass eine Minderheit des Obergerichts das Rechtsbegehren des Beschwerdeführers antragsgemäss unterstützt hat, kann es nicht als aussichtslos bezeichnet werden. Soweit das Obergericht dem Beschwerdeführer die unentgeltlichen Rechtspflege im kantonalen Verfahren zufolge Aussichtslosigkeit verweigert hat, ist dies mit <ref-law> nicht vereinbar.
4.2. Die Bedürftigkeit des Beschwerdeführers erscheint vorliegend ausgewiesen, so dass die Voraussetzungen zur Gewährung der unentgeltlichen Rechtspflege erfüllt sind. Soweit das Obergericht dem Beschwerdeführer die unentgeltliche Rechtspflege im kantonalen (erst- und zweitinstanzlichen) Verfahren verweigert hat, ist die Beschwerde begründet und das angefochtene Urteil aufzuheben. Die Gutheissung der Gesuche um unentgeltliche Rechtspflege hat zur Folge, dass der nicht anwaltlich vertretene Beschwerdeführer von der Bezahlung der Gerichtskosten (Spruchgebühren) im erst- und zweitinstanzlichen Verfahren befreit wird.
5.
Nach dem Dargelegten ist die Verfassungsbeschwerde, soweit darauf eingetreten werden kann, gutzuheissen. Das angefochtene Urteil ist insoweit aufzuheben, als dem Beschwerdeführer für das kantonale Verfahren die unentgeltliche Rechtspflege verweigert wurde. Dem Beschwerdeführer ist für das erst- und zweitinstanzliche Verfahren die unentgeltliche Rechtspflege und damit die Kostenlosigkeit des kantonalen Verfahrens zu gewähren. Im Übrigen ist der Beschwerde kein Erfolg beschieden.
Für das bundesgerichtliche Verfahren wird von der Erhebung von Gerichtskosten abgesehen (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das vorliegende Verfahren wird gegenstandslos. Über eine Parteientschädigung an den nicht anwaltlich vertretenen Beschwerdeführer ist mangels ersatzpflichtiger Auslagen nicht zu befinden (vgl. <ref-law>, Art. 1 lit. a und b des Reglementes über Parteientschädigung, SR 173.110.210.3). Eine Pflicht zur Leistung einer Entschädigung an den Beschwerdegegner entfällt.

Demnach erkennt das Bundesgericht:
1.
1.1. Die Verfassungsbeschwerde wird, soweit darauf einzutreten ist, teilweise gutgeheissen. Das Urteil des Obergerichts des Kantons Zürich, I. Zivilkammer, vom 31. August 2011 wird insoweit aufgehoben, als dem Beschwerdeführer für das erst- und zweitinstanzliche Verfahren die unentgeltliche Rechtspflege verweigert wurde. Dem Beschwerdeführer wird in Gutheissung seiner Gesuche um unentgeltliche Rechtspflege die Kostenlosigkeit des erst- und zweitinstanzlichen Verfahrens gewährt.
1.2. Im Übrigen wird die Verfassungsbeschwerde abgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird als gegenstandslos abgeschrieben.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 11. April 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Levante