Sachverhalt: A. A.a Y._ ist Inhaberin der elterlichen Sorge über ihre beiden Kinder aus erster Ehe, R._ (geb. 1998) und S._ (geb. 2001). A.b Je mit Beschlüssen vom 17. April 2008 wies die Vormundschaftsbehörde der Stadt A._ einen Antrag der Grosseltern, X._ und Z._, auf Einräumung eines Besuchsrechts gegenüber ihren Enkelkindern, S._ und R._, ab. A.c Der Grossvater, X._, gelangte gegen diese Beschlüsse an den Bezirksrat Zürich, welcher die Beschwerde mit Beschluss vom 6. November 2008 abwies und die Entscheide der Vormundschaftsbehörde bestätigte. B. Mit Beschluss vom 21. April 2009 wies das Obergericht des Kantons Zürich den Rekurs von X._ ab, soweit darauf einzutreten war, und bestätigte den bezirksrätlichen Beschluss. C. X._ gelangt mit Beschwerde in Zivilsachen an das Bundesgericht und beantragt im Wesentlichen, den Beschluss des Obergerichts aufzuheben und ihm sowie seiner Ehefrau den Kontakt zu den Enkelkindern zu ermöglichen und ein regelmässiges Besuchsrecht einzuräumen; eventuell sei die Sache im Sinn der Erwägungen und zu neuem Entscheid an die Vorinstanz zurückzuweisen. Es sind keine Vernehmlassungen eingeholt worden.