Sachverhalt:
A. A.a Y._ ist Inhaberin der elterlichen Sorge über ihre beiden Kinder aus erster Ehe, R._ (geb. 1998) und S._ (geb. 2001).
A.b Je mit Beschlüssen vom 17. April 2008 wies die Vormundschaftsbehörde der Stadt A._ einen Antrag der Grosseltern, X._ und Z._, auf Einräumung eines Besuchsrechts gegenüber ihren Enkelkindern, S._ und R._, ab.
A.c Der Grossvater, X._, gelangte gegen diese Beschlüsse an den Bezirksrat Zürich, welcher die Beschwerde mit Beschluss vom 6. November 2008 abwies und die Entscheide der Vormundschaftsbehörde bestätigte.
B. Mit Beschluss vom 21. April 2009 wies das Obergericht des Kantons Zürich den Rekurs von X._ ab, soweit darauf einzutreten war, und bestätigte den bezirksrätlichen Beschluss.
C. X._ gelangt mit Beschwerde in Zivilsachen an das Bundesgericht und beantragt im Wesentlichen, den Beschluss des Obergerichts aufzuheben und ihm sowie seiner Ehefrau den Kontakt zu den Enkelkindern zu ermöglichen und ein regelmässiges Besuchsrecht einzuräumen; eventuell sei die Sache im Sinn der Erwägungen und zu neuem Entscheid an die Vorinstanz zurückzuweisen. Es sind keine Vernehmlassungen eingeholt worden.

Erwägungen:
1. 1.1 Der Beschwerdeführer richtet sich gegen die letztinstanzliche (<ref-law>) Verweigerung eines Besuchsrechts gegenüber seinen Enkelkindern. Dabei handelt es sich um eine Zivilsache im Sinn von <ref-law> ohne Streitwert; die Beschwerde in Zivilsachen ist daher zulässig.
1.2 Im vorliegenden Fall richtet sich der Beschwerdeführer auch dagegen, dass seiner Ehefrau, der Grossmutter der Kinder, ein Besuchsrecht gegenüber ihren Enkelkindern verweigert worden ist. Ob der Beschwerdeführer insoweit zur Beschwerde legitimiert ist, kann offen bleiben, zumal sie sich als unbegründet erweist, soweit darauf eingetreten werden kann.
1.3 Die Beschwerde ist zu begründen. Mit ihr ist in gedrängter Form durch Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, inwiefern dieser Bundesrecht verletzt (Art. 42 Abs. 1 und 2 BGG). Verfassungsverletzungen werden nur geprüft, wenn sie gerügt und gehörig begründet werden (<ref-law>; <ref-ruling> E. 1.4 S. 287). Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift dargelegt werden, inwiefern diese Feststellung willkürlich oder durch eine andere Rechtsverletzung im Sinn von <ref-law> (z.B. <ref-law> oder <ref-law>) zustande gekommen ist (vgl. <ref-ruling> E. 1.2.2 und 1.4.3 S. 255) und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 in fine BGG; <ref-ruling> E. 2.2.2 S. 22). Auf rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein. In der Beschwerde in Zivilsachen dürfen überdies keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (<ref-law>). In der Beschwerde ist darzutun, inwiefern die Voraussetzung für eine nachträgliche Einreichung von Tatsachen und Beweismitteln erfüllt sein soll (<ref-ruling> E. 3 S. 395).
2. 2.1 Liegen ausserordentliche Umstände vor, so kann der Anspruch auf persönlichen Verkehr auch anderen Personen, insbesondere den Verwandten, namentlich den Grosseltern (Urteil 5C.146/2003 vom 23. September 2003 E. 3.1, nicht publ. in <ref-ruling>), eingeräumt werden, sofern dies dem Wohl des Kindes dient (<ref-law>). Die für die Eltern aufgestellten Schranken des Besuchsrechts gelten sinngemäss (<ref-law>). Anders als der persönliche Verkehr zwischen den Eltern und dem Kind leitet derjenige Dritter seine Rechtfertigung allein aus dem Interesse des Kindes ab; er muss mit anderen Worten dem Wohl des Kindes dienen (HEGNAUER, Berner Kommentar, 4. Aufl. 1991, N. 15 zu <ref-law>; MEIER/ STETTLER, Droit de la filiation, 4. Aufl. 2009, Rz. 696 ff; Urteil 5A_831/2008 vom 16. Februar 2009 E. 3.2).
2.2 Nach den Ausführungen der Vormundschaftsbehörde, die vom Obergericht übernommen worden sind, ist es zwischen den Parteien nach der Scheidung der Beschwerdegegnerin vom Vater der Kinder und der erneuten Heirat zu grossen Schwierigkeiten mit dem Beschwerdeführer und dessen Ehefrau (Eltern der Beschwerdegegnerin) gekommen, wobei die Ursache des Konfliktes einerseits in der verschiedenen Auffassung über grundsätzliche Fragen der Lebensführung, in den Differenzen betreffend die Erziehung der Kinder, aber auch in den Charaktereigenschaften des heutigen Ehemannes der Beschwerdegegnerin zu suchen ist. Beide Kinder haben den Konflikt zwischen der Beschwerdegegnerin und den Grosseltern persönlich mitbekommen, da dieser teilweise im Beisein der Kinder ausgetragen worden ist. Daher ist vereinbart worden, dass der Beschwerdeführer die Familienwohnung nicht mehr betreten darf und die Kinder zu den Grosseltern zu Besuch gehen. Da auch in der Folge die Differenzen zwischen der Beschwerdegegnerin und den Grosseltern nicht aufhörten, hat sich die Beschwerdegegnerin entschlossen, den Wohnort zu wechseln und den Kontakt zum Beschwerdeführer (Grossvater der Kinder) vollständig abzubrechen. Nach den weiteren Ausführungen des Obergerichts besteht der besagte Konflikt nach wie vor. Die ältere Tochter hat anlässlich der Anhörung durch den delegierten Richter des Obergerichts erklärt, sie habe den Beschwerdeführer seit längerer Zeit nicht mehr gesehen; sie unterhalte keine Beziehung zu ihren Grosseltern, habe sich mit dieser Situation abgefunden, sie wünsche keinen Kontakt zum Grossvater, könne sich einen regelmässigen Kontakt zur Grossmutter nur unter der Voraussetzung vorstellen, dass sie nicht mit der Mutter streite.
Angesichts des ausführlich beschriebenen und weiterhin bestehenden Konfliktes ist ein Besuchsrecht der Grosseltern gegenüber ihren Enkelkindern zur Zeit mit dem Kindeswohl nicht zu vereinbaren. Vor dem Hintergrund des tiefgreifenden Konflikts würde ein Besuchsrecht die beiden Kinder bei jedem Besuch einem schwierigen Loyalitätskonflikt aussetzen, woraus sich für die Beschwerdegegnerin als Sorgeberechtigte unzumutbare Belastungen ergeben könnten. Ferner kann aufgrund der bestehenden Schwierigkeiten nicht ausgeschlossen werden, dass die Kinder bei der Ausübung des Besuchsrechts erneut in den Konflikt mit einbezogen würden, was sich mit dem Kindeswohl ebenso wenig vereinbaren lässt. Schliesslich gilt es darauf hinzuweisen, dass sich die ältere Tochter einem Besuchsrecht ihres Grossvaters widersetzt und zur Grossmutter auch nur Kontakt pflegen will, soweit sich dies ohne Streit verwirklichen lässt, was angesichts der geschilderten Schwierigkeiten derzeit als unmöglich erscheint. Unter den gegebenen Umständen ist eine Verletzung von <ref-law> nicht ersichtlich.
3. Was der Beschwerdeführer (Grossvater) gegen das obergerichtliche Urteil vorträgt, vermag keine Bundesrechtsverletzung darzutun:
3.1 Er macht geltend, die Kinder seien nicht auf eine den Umständen angepasste Art und Weise angehört worden. Angesichts des für die Kinder bestehenden Drucks, hätten sie von einer Psychologin befragt werden müssen.
Auf die vorliegend zu beurteilende Frage des Besuchsrechts ist <ref-law> analog anwendbar (<ref-ruling> E. 2a S. 296 f.). Gemäss dieser Bestimmung sind die Kinder in geeigneter Weise durch das Gericht oder durch eine beauftragte Drittperson persönlich anzuhören, soweit nicht ihr Alter oder andere wichtige Gründe dagegen sprechen. Nach der dazu entwickelten Rechtsprechung hat die Anhörung in der Regel durch das Gericht zu erfolgen, es sei denn, dieses erachte eine Fachperson für erforderlich (<ref-ruling> E. 2a S. 297). Soweit der Beschwerdeführer überhaupt rechtsgenügend eine Verletzung von Art. 12 des Übereinkommens über die Rechte des Kindes, vom 20. November 1989 (SR 0.107; KRK) rügt, ergibt sich daraus nichts anderes. Artikel 12 Abs. 2 KRK verpflichtet die Vertragsstaaten dazu, dem Kind Gelegenheit zu geben, in allen Gerichts- oder Verwaltungsverfahren, die es betreffen, entweder unmittelbar oder durch einen Vertreter oder eine geeignete Stelle im Einklang mit den innerstaatlichen Verfahrensvorschriften gehört zu werden. Aus dem Wortlaut von Art. 12 KRK ergibt sich aber nicht zwingend, dass die Kinder von einem Psychologen anzuhören sind. Eine bedeutende Lehrmeinung geht davon aus, dass grundsätzlich die Verwaltungsbehörde bzw. das Gericht die Kinder anzuhören hat. Diese Aufgabe kann delegiert werden, wenn das Gericht bzw. die Verwaltungsbehörde aufgrund der Aktenlage und des Eindrucks zum Schluss gelangt, ein Gutachten des Kinderpsychologen bzw. ein Abklärungsbericht des Jugendsekretariats erweise sich als notwendig (in diesem Sinn: Felder/Nufer, Richtlinien für die Anhörung des Kindes aus kinderpsychologischer Sicht gemäss Art. 12 der UNO-Konvention über die Rechte des Kindes, in: SJZ 95/1999 S. 318).
Im vorliegenden Fall hat im Rahmen des Verfahrens vor der Vormundschaftsbehörde eine Befragung der Kinder durch Fachpersonen stattgefunden (E. 3.2). Was das spätere Verfahren vor dem Obergericht anbelangt, hat sich nur das ältere Kind mit einer Anhörung einverstanden erklärt und ist durch den delegierten Richter des Obergerichts angehört worden. Dass das Verfahren betreffend Gewährung eines Besuchsrechts an die Grosseltern für die Kinder bedrückend gewesen ist, mag zwar zutreffen. Der Beschwerdeführer legt aber keine konkreten Umstände dar, welche den delegierten Richter des Obergerichts als für die Anhörung nicht qualifiziert haben erscheinen lassen und diesen deshalb hätten veranlassen müssen, die Anhörung nochmals einem Spezialisten anzuvertrauen. Von einer Verletzung von Bundesrecht kann nicht gesprochen werden.
3.2 Der Beschwerdeführer macht weiter geltend, das bisherige Verfahren sei ohne Zeugen und ohne Beweismittel durchgeführt worden.
Die Vormundschaftsbehörde hat einen Bericht beim Sozialzentrum B._ eingeholt. Grundlage für diesen Bericht bildeten Gespräche der abklärenden Fachpersonen mit der Kindsmutter, den Kindern, der Schulsozialarbeiterin, der Lehrerin von S._ und der Kindergärtnerin von R._. Überdies ist die ältere Tochter vor Obergericht durch den delegierten Richter angehört worden. Inwiefern hier nur ungenügende Abklärungen getroffen worden sein sollen, ist nicht erkennbar und wird auch nicht erörtert. Insbesondere wird von seiten des Beschwerdeführers auch nicht in der Beschwerdeschrift dargetan, welche Zeugen trotz entsprechenden Antrages nicht einvernommen worden sein sollen. Die Rüge erweist sich als unbegründet soweit darauf einzutreten ist.
3.3 Der Beschwerdeführer macht im Weiteren zusammengefasst geltend, in allen Verfahren sei die Loyalität "sorgenhaft" gepflegt und das Recht in den Hintergrund geschoben worden; die Leiden der Kinder seien nicht beobachtet worden; niemand habe den Grund des Konfliktes und die daraus entstandene desolate Situation der Kinder genannt; im Verfahren sei das "Besuchsrecht im engeren Sinn angewendet" worden, der Konflikt zwischen Vater und Tochter sei zwar behandelt, dabei aber nicht beachtet worden, dass der Konflikt zwischen der Tochter und der ganzen Familie bestehe. Schliesslich nennt der Beschwerdeführer verschiedene Personen, die für das Sorgerecht der Kinder zur Verfügung stehen und verweist er auf verschiedene Bestimmungen des Übereinkommens vom 20. November 1989 über die Rechte des Kindes (KRK).
Mit diesen Ausführungen setzt sich der Beschwerdeführer nicht rechtsgenügend mit den Erwägungen des angefochtenen Entscheides auseinander (E. 1.3 hiervor). Die Vorinstanz hat die gesetzlichen Voraussetzungen für die Einräumung eines Besuchsrechts an Dritte aufgeführt und deren Erfüllung im konkreten Fall geprüft. Die diesbezüglichen Erwägungen geben zu keiner Beanstandung Anlass. Sodann wurde dem Kindeswohl Rechnung getragen, zumal dieses für die Einräumung eines Besuchsrechts an Dritte von zentraler Bedeutung ist und die Vormundschaftsbehörde die sich aufdrängenden Befragungen und Anhörungen durchgeführt und ein delegierter Richter des Obergerichts das ältere Kind angehört hat. Das Obergericht hat die Ursachen des Konfliktes aufgezeigt; soweit der Beschwerdeführer nunmehr andere Ursachen geltend machen will, dabei aber nicht aufgezeigt, inwiefern die diesbezüglichen Feststellungen des Obergerichts willkürlich sein sollen, kann auf die Beschwerde nicht eingetreten werden (E. 1.3). Sodann steht vorliegend nicht die Frage an, ob das Sorgerecht einer anderen Person zu übertragen ist. Soweit der Beschwerdeführer schliesslich auf die Art. 14, 15, 16, 19, 24, und 31 des Übereinkommens vom 20. November 1989 über die Rechte des Kindes (KRK) hinweist, vermag er damit eine Bundesrechtsverletzung nicht rechtsgenüglich zu begründen, zumal er mit keinem Wort erläutert, inwiefern diese Bestimmungen im konkreten Fall verletzt worden sein sollen (E. 1.3).
4. Damit ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Eine Entschädigung der Gegenpartei ist nicht zu sprechen, zumal keine Vernehmlassung eingeholt worden ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 3. Juli 2009
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zbinden