Sachverhalt: A. X._ (geb. 1978, Staatsangehöriger von Bosnien-Herzegowina) ersuchte anlässlich der Einigungsverhandlung vom 14. März 2012 in einem beim Bezirksgericht Hinwil hängigen Verfahren auf Abänderung eines Scheidungsurteils mündlich um unentgeltliche Rechtspflege. Nach der Mandatierung einer Anwältin substantiierte er das Gesuch namentlich in der Klagebegründung vom 4. Juni 2012. B. Mit Urteil vom 15. August 2013 erledigte das Bezirksgericht das Abänderungsverfahren gestützt auf eine von den geschiedenen Gatten an der Hauptverhandlung vom 7. Juni 2013 geschlossene Vereinbarung. Mit Verfügung ebenfalls vom 15. August 2013 wies es das Gesuch von X._ um unentgeltliche Rechtspflege ab. C. Auf Beschwerde hin verneinte auch das Obergericht des Kantons Zürich mit Urteil vom 3. Dezember 2013 einen Armenrechtsanspruch. Das Obergericht erhob für das Beschwerdeverfahren keine Kosten, schrieb insofern das Gesuch von X._ um unentgeltliche Rechtspflege für das Beschwerdeverfahren ab und verweigerte ihm im Übrigen die Bestellung eines unentgeltlichen Rechtsbeistands. D. Mit Beschwerde in Zivilsachen, eventualiter subsidiärer Verfassungsbeschwerde, vom 15. Januar 2014 gelangt X._ (Beschwerdeführer) an das Bundesgericht. Er verlangt die Aufhebung des angefochtenen Entscheids. Ihm sei für das erstinstanzliche wie für das Beschwerdeverfahren und das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege zu bewilligen. Das Bundesgericht hat die Akten der Vorinstanzen, in der Sache aber keine Vernehmlassungen eingeholt.