Sachverhalt: A. Mit Verfügung des Einzelrichters im ordentlichen Verfahren des Bezirks Winterthur vom 1. Juli 2010 wurde Z._ im Scheidungsverfahren gegen Y._ die unentgeltliche Prozessführung bewilligt und ihm Rechtsanwalt X._ als unentgeltlicher Rechtsbeistand bestellt. Nach Abschluss des Scheidungsverfahrens reichte Rechtsanwalt X._ die Kostennote über den Betrag von Fr. 31'926.60 inkl. Barauslagen und Mehrwertsteuer ein. Mit Verfügung vom 11. September 2012 sprach ihm der Einzelrichter im ordentlichen Verfahren des Bezirks Winterthur für seine Bemühungen im Scheidungsverfahren eine Entschädigung von Fr.11'709.-- (inklusive Barauslagen und Mehrwertsteuer) aus der Gerichtskasse zu. Rechtsanwalt X._ wurde dahingehend belehrt, dass gegen die Verfügung innert 30 Tagen Beschwerde beim Obergericht erhoben werden könne. B. Mit Beschluss vom 17. Mai 2013 trat das Obergericht des Kantons Zürich auf die gegen die erstinstanzliche Kostenfestsetzung eingereichte Beschwerde von Rechtsanwalt X._ nicht ein, da die Beschwerde nicht innert 10 Tagen seit Eröffnung der Kostenverfügung eingereicht worden war. In der Eventualerwägung befasste sich das Obergericht mit den in der Beschwerde erhobenen Rügen gegen die erstinstanzliche Kostenfestsetzung und kam zum Schluss, dass die Beschwerde hätte abgewiesen werden müssen, falls auf sie hätte eingetreten werden können. C. Rechtsanwalt X._ hat gegen den obergerichtlichen Beschluss beim Bundesgericht mit Eingabe vom 24. Juni 2013 (Postaufgabe) Beschwerde in Zivilsachen erhoben. Er beantragt, der angefochtene Beschluss sei aufzuheben und die Entschädigung auf Fr. 20'217.60 festzusetzen; eventuell sei die Sache im Sinn der Erwägungen an die Vorinstanz zurückzuweisen. Es sind keine Vernehmlassungen eingeholt worden.