Sachverhalt: A. A.a. X._ (geb. 1965) und A._ (geb. 1981) ehelichten sich am xx.xx.2004. Sie sind die Eltern der am xx.xx.2006 geborenen Tochter B._. Mit Verfügung vom 12. Juni 2008 bewilligte die Eheschutzrichterin des Bezirksgerichts Zürich das Getrenntleben der Eltern. Das Kind B._ wurde für die Dauer des Getrenntlebens unter die Obhut der Mutter gestellt und der Kindsvater X._ berechtigt, sein Kind ab Bezug einer eigenen Wohnung jedes zweite Wochenende zu besuchen. Im Weiteren errichtete die Eheschutzrichterin eine Beistandschaft gestützt auf Art. 308 Abs. 1 und 2 ZGB für das Kind und beauftragte die Vormundschaftsbehörde der Stadt Zürich mit der Bestellung des Beistands. A.b. X._ zog in der Folge nach Deutschland, während A._ zusammen mit dem Kind in der Schweiz verblieb. Mit Beschluss des Amtsgerichts Waldshut-Tiengen vom 21. Dezember 2012 wurde die Ehe der Parteien auf Klage des Ehemannes in Anwendung schweizerischen Rechts (Art. 112 ZGB) geschieden. Das deutsche Gericht traf keine Entscheidung über die elterliche Sorge, den Kinderunterhalt und das Besuchsrecht des Vaters. A.c. Im August 2013 wandte sich X._ an die Kindes- und Erwachsenenschutzbehörde KESB der Stadt Zürich, da die Kindsmutter seit mehreren Monaten den Kontakt zwischen ihm und seiner Tochter vereitelt bzw. an sachfremde und unakzeptable Bedingungen geknüpft habe. Er verlangte von ihr, sein Besuchsrecht durchzusetzen und alle notwendigen Massnahmen zu treffen, um den regelmässigen Kontakt zwischen ihm und seiner Tochter wiederherzustellen. A.d. Mit Beschluss vom 23. Dezember 2013 wies die KESB die Anträge des Kindsvaters ab. Sie erwog unter anderem, dass die eheschutzrichterliche Regelung der Besuchskontakte nicht mehr gelte und keine neue gerichtliche Regelung getroffen worden sei. Sie regelte daher die Besuchskontakte einstweilen bis Ende Juni 2014 neu, indem sie an zwei einzelnen Tagen pro Monat Kontakte von Vater und Tochter in einem Besuchstreff in C._ (wie z.B. im D._) vorsah. Der Beiständin wurden Aufträge zur Organisation, Finanzierung usw. sowie zur Berichterstattung per Ende Mai 2014 erteilt. Weiter wurden die Parteien gestützt auf Art. 273 Abs. 2 ZGB ermahnt, alles zu unterlassen, was zu erneuten Auseinandersetzungen zwischen ihnen führen und das Kind in einen Loyalitätskonflikt zu ihnen bringen kann. Einer allfälligen Beschwerde gegen diesen Entscheid entzog die KESB die aufschiebende Wirkung. B. Mit Urteil vom 13. März 2014 wies der Bezirksrat Zürich die dagegen erhobene Beschwerde des Vaters ab, soweit darauf einzutreten war. Der Vater zog diesen Entscheid an das Obergericht des Kantons Zürich weiter und ersuchte insbesondere darum, es sei die aufschiebende Wirkung wiederherzustellen. Diesen Antrag wies der Stellvertreter der Präsidentin mit Verfügung vom 29. April 2014 ab. C. Der Beschwerdeführer hat am 2. Juni 2014 (Postaufgabe) beim Bundesgericht gegen die vorgenannte Verfügung des Stellvertreters der Präsidentin des Obergerichts des Kantons Zürich Beschwerde in Zivilsachen erhoben. Er beantragt, die aufschiebende Wirkung der Beschwerde gegen den Zirkulationsbeschluss der Kindes- und Erwachsenenschutzbehörde vom 23. Dezember 2013 sei (mit Ausnahme des Weihnachts- und Neujahrsumgangs) wiederherzustellen. Es sind keine Vernehmlassungen eingeholt worden.