Sachverhalt:
A. A.a X._ (Vater) und Z._ (Mutter), beide deutsche Staatsangehörige, sind die unverheirateten Eltern von Y._ (geb. xxxx 2008). Die Anerkennung des Kindes durch den Vater erfolgte rund sechs Monate vor der Geburt am 18. Januar 2008 in Berlin, dem damaligen Wohnort der Mutter. Zugleich vereinbarten die zukünftigen Eltern die Übernahme der gemeinsamen elterlichen Sorge.
A.b Y._ kam in der Schweiz zur Welt und lebte hier zusammen mit der Mutter zuletzt "unter der Anschrift des Vaters" in A._. Am 7. Mai 2010 reiste die Mutter mit Y._ gegen den Willen des Vaters und heimlich unter Mitnahme etlicher Möbel und Hausratsgegenstände nach Berlin, nachdem sie sich zuvor beim Einwohnermeldeamt abgemeldet hatte. Seither leben Mutter und Kind in dieser Stadt.
A.c Ein vom Vater in Deutschland angehobenes Verfahren auf Rückführung des Kindes wurde vom Kammergericht Berlin mit Beschluss vom 27. Juni 2011 erledigt: Die gegen die Abweisung seines Rückführungsersuchens durch das Amtsgericht (Familiengericht) Pankow/Weissensee erhobene Beschwerde des Vaters wurde zurückgewiesen. Die Eltern haben nunmehr vor einem Gericht in Berlin eine Regelung zum Besuchsrecht getroffen.
A.d Am 5. August 2011 gelangte der Vater an die Sozialbehörde A._, Vormundschaftskommission (nachfolgend: Vormundschaftsbehörde A._), mit dem Begehren, es seien nach Art. 307, 308 und 310 ZGB geeignete Massnahmen zum Kindesschutz zu treffen, namentlich sei das alleinige Obhutsrecht "auf ihn zu übertragen". Mit Beschluss vom 8. Dezember 2011 trat die Vormundschaftsbehörde A._ auf das Ersuchen wegen fehlender örtlicher Zuständigkeit nicht ein.
B. Mit Beschluss vom 21. März 2012 wies der Bezirksrat Bülach eine gegen den Beschluss der Vormundschaftsbehörde A._ erhobene Beschwerde des Vaters ab. Mit Urteil vom 31. Mai 2012 gab das Obergericht des Kantons Zürich der gegen den Beschluss des Bezirksrats vom 21. März 2011 erhobenen Berufung des Vaters nicht statt.
C. Der Vater hat gegen das ihm am 6. Juni 2012 zugestellte Urteil des Obergerichts des Kantons Zürich am 7. Juli 2012 (Postaufgabe) beim Bundesgericht Beschwerde in Zivilsachen erhoben. Er beantragt, das Urteil des Obergerichts vom 31. Mai 2012 sowie die Beschlüsse des Bezirksrats Bülach vom 21. März 2012 und der Vormundschaftsbehörde A._ vom 8. Dezember 2011 seien aufzuheben. Sinngemäss verlangt er zudem, die Sache sei zur Behandlung des Gesuchs um Erlass von Kindesschutzmassnahmen an die Vormundschaftsbehörde A._ zurückzuweisen. Für das Verfahren vor Bundesgericht ersucht er um unentgeltliche Rechtspflege.
Es sind keine Vernehmlassungen eingeholt worden.

Erwägungen:
1. 1.1 Angefochten ist ein Urteil des Obergerichts des Kantons Zürich, mit dem die örtliche Zuständigkeit der Vormundschaftsbehörde A._ zum Erlass von Kindesschutzmassnahmen kantonal letztinstanzlich (<ref-law>) verneint worden ist. Dabei handelt es sich um einen Endentscheid (<ref-law>; vgl. <ref-ruling> E. 1.3 S. 156).), zumal das Massnahmeverfahren nunmehr definitiv beendet ist. Der Entscheid beschlägt den Kindesschutz; es liegt damit eine öffentlich-rechtliche Angelegenheit in unmittelbarem Zusammenhang mit dem Zivilrecht vor (Art. 72 Abs. 1 lit. b Ziff. 7 BGG), womit die Beschwerde in Zivilsachen ohne weiteres gegeben ist. Der Beschwerdeführer war Partei im kantonalen Verfahren (<ref-law>). Er ist mit seinen Anträgen nicht durchgedrungen und verfügt damit über ein schützenswertes Interesse an der Aufhebung bzw. Änderung des angefochtenen Entscheids (<ref-law>). Auf die fristgerecht (<ref-law>) eingereichte Beschwerde ist einzutreten.
1.2 Der Beschwerdeführer verlangt im Wesentlichen einzig eine Rückweisung der Sache, die im Normalfall den Anforderungen an den Antrag nicht genügt. Im vorliegenden Fall haben sich die kantonalen Instanzen indes nicht zu den beantragten Massnahmen verlauten lassen, da sie die schweizerischen Behörden als örtlich unzuständig erachteten. Bei einer Gutheissung der Beschwerde könnte das Bundesgericht somit mangels entsprechender tatsächlicher Feststellungen nicht über die beantragten Kindesschutzmassnahmen entscheiden. Der Rückweisungsantrag ist damit zulässig (<ref-ruling> E. 1.2 S. 135 f.; <ref-ruling> E. 1.3 S. 383).
2. Vorliegend geht es um die Frage, ob die Vormundschaftsbehörde A._, die Behörde am schweizerischen Wohnort des Beschwerdeführers, für die Behandlung dessen Gesuchs um Kindesschutzmassnahmen für das in Deutschland lebende Kind örtlich zuständig ist. Bei den Eltern handelt es sich um deutsche Staatsangehörige. Angesichts der geschilderten tatsächlichen Gegebenheiten liegt ein internationaler Sachverhalt vor. Artikel 85 Abs. 1 IPRG (SR 291) entsprechend gilt das Haager Übereinkommen vom 19. Oktober 1996 über die Zuständigkeit, das anzuwendende Recht, die Anerkennung, Vollstreckung und Zusammenarbeit auf dem Gebiet der elterlichen Verantwortung und der Massnahmen zum Schutz von Kindern (HKsÜ; SR 0.211.231.011). Dieses Übereinkommen ist für die Schweiz am 1. Juli 2009 (SR 211.222.32), für Deutschland am 1. Januar 2011 in Kraft getreten (siehe den Anhang bei: http://www.eda.admin.ch/vertraege). Die verlangten Kindesschutzmassnahmen werden von dem in <ref-law> erstellten Massnahmekatalog erfasst. Die hier strittige Frage beurteilt sich somit nach diesem Abkommen, wovon denn auch die kantonalen Verwaltungsbehörden und das Obergericht des Kantons Zürich ausgegangen sind.
3. Die massgebenden Bestimmungen des HKsÜ lauten wie folgt:
Art. 5
(1) Die Behörden, seien es Gerichte oder Verwaltungsbehörden, des Vertragsstaats, in dem das Kind seinen gewöhnlichen Aufenthalt hat, sind zuständig, Massnahmen zum Schutz der Person oder des Vermögens des Kindes zu treffen.
(2) Vorbehaltlich des Artikels 7 sind bei einem Wechsel des gewöhnlichen Aufenthalts des Kindes in einen anderen Vertragsstaat die Behörden des Staates des neuen gewöhnlichen Aufenthalts zuständig.
Art. 7
(1) Bei widerrechtlichem Verbringen oder Zurückhalten des Kindes bleiben die Behörden des Vertragsstaats, in dem das Kind unmittelbar vor dem Verbringen oder Zurückhalten seinen gewöhnlichen Aufenthalt hatte, so lange zuständig, bis das Kind einen gewöhnlichen Aufenthalt in einem anderen Staat erlangt hat und:
a) jede sorgeberechtigte Person, Behörde oder sonstige Stelle das Verbringen oder Zurückhalten genehmigt hat; oder
b) das Kind sich in diesem anderen Staat mindestens ein Jahr aufgehalten hat, nachdem die sorgeberechtigte Person, Behörde oder sonstige Stelle seinen Aufenthaltsort kannte oder hätte kennen müssen, kein während dieses Zeitraums gestellter Antrag auf Rückgabe mehr anhängig ist und das Kind sich in seinem neuen Umfeld eingelebt hat.
(2) Das Verbringen oder Zurückhalten eines Kindes gilt als widerrechtlich, wenn:
a) dadurch das Sorgerecht verletzt wird, das einer Person, Behörde oder sonstigen Stelle allein oder gemeinsam nach dem Recht des Staates zusteht, in dem das Kind unmittelbar vor dem Verbringen oder Zurückhalten seinen gewöhnlichen Aufenthalt hatte; und
b) dieses Recht im Zeitpunkt des Verbringens oder Zurückhaltens allein oder gemeinsam tatsächlich ausgeübt wurde oder ausgeübt worden wäre, falls das Verbringen oder Zurückhalten nicht stattgefunden hätte.
4. Entgegen dem Antrag des Beschwerdeführers hat die Vorinstanz nicht geprüft, ob die deutschen Gerichte im Verfahren der Rückführung ein widerrechtliches Verbringen des Kindes nach Deutschland zu Unrecht verneint haben. Der Beschwerdeführer macht geltend, er habe namentlich vor dem Obergericht auf die Unbeachtlichkeit des Beschlusses des Kammergerichts Berlin vom 27. Juni 2011 hingewiesen, da dieser (mit Bezug auf die Verneinung der Widerrechtlichkeit des Verbringens des Sohnes ins Ausland) gesetzeswidrig und willkürlich sei. Die Vorinstanz habe sich mit diesem Vorwurf nicht auseinandergesetzt.
4.1 Das rechtliche Gehör nach <ref-law> verpflichtet die Behörde, ihren Entscheid zu begründen. Dabei ist nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (vgl. <ref-ruling> E. 3.3; <ref-ruling> E. 4.3 S. 540).
4.2 Entgegen der Behauptung des Beschwerdeführers hat die Vorinstanz begründet, weshalb sie nicht auf die behauptete Widerrechtlichkeit des Verbringens des Sohnes des Beschwerdeführers nach Deutschland abgestellt hat. Sie hat zusammengefasst dafürgehalten, der gemeinsame Sohn der Parteien halte sich seit dem Wegzug aus A._ am 7. Mai 2010, also seit mehr als zwei Jahren, bei seiner Mutter in Berlin auf. Der Beschwerdeführer habe seinen Sohn wiederholt in Berlin besucht und besuche ihn weiterhin. Der gewöhnliche Aufenthalt des Sohnes befinde sich daher in Berlin. Der Beschwerdeführer wisse seit mittlerweile mehr als einem Jahr, dass sein Sohn in Berlin bei seiner Mutter wohne. Seit dem im Ergebnis die Rückführung verweigernden Entscheid des Kammergerichts Berlin vom 27. Juni 2011 sei zudem kein vom Beschwerdeführer gestellter Antrag auf Rückführung mehr hängig. Endlich behaupte der Beschwerdeführer heute zu Recht nicht, sein Sohn habe sich seit Mai 2010 in Berlin nicht eingelebt. Demgemäss entfalle auch die Zuständigkeit der schweizerischen Behörden gestützt auf <ref-law>. Diese Begründung genügt den Anforderungen von <ref-law> bzw. Art. 6 EMRK und der Beschwerdeführer war in der Lage, insoweit den angefochtenen Entscheid sachgerecht anzufechten. Der Vorwurf der Verletzung des rechtlichen Gehörs erweist sich als unbegründet.
5. In der Sache selbst macht der Beschwerdeführer geltend, die Erwägungen des Obergerichts seien rechtlich nicht haltbar. Voraussetzung für die Anwendung des HKsÜ sei, dass dieser Staatsvertrag für beide betroffenen Staaten gelte, zumal sonst, so das Obergericht, die Konstellation bestünde, dass nach dem Recht der Schweiz der gewöhnliche Aufenthalt bereits nach einem Jahr einträte, während dies (mangels Geltung des HKsÜ) im ausländischen Staat noch nicht der Fall sein würde. Damit hätte das Kind keinen Aufenthalt mehr: Denjenigen in der Schweiz hätte es verloren, denjenigen im Ausland nach dem Recht des ausländischen Staat noch nicht erlangt. Das Obergericht habe dies offensichtlich nicht zu Ende gedacht. Beim Postulat der einjährigen Dauer habe es überdies nicht berücksichtigt, dass das Kind in Verletzung des Sorgerechts des Vaters nach Deutschland entführt worden sei. Nach Auffassung des Obergerichts begründe die Entführung durch einen nicht allein sorgeberechtigten Elternteil unter Verletzung des Sorgerechts des andern Elternteils einen gewöhnlichen Aufenthalt im andern Staat, wenn der Verbleib in diesem Staat länger als ein Jahr dauere. Dieser Ausgangspunkt der obergerichtlichen Argumentation sei unzutreffend. Das Obergericht gehe überhaupt nicht auf die Frage ein, ob dem Entscheid des Kammergerichts Berlin vom 27. Juni 2011 überhaupt die Wirkung zukomme, die <ref-law> voraussetze. Im Weiteren beanstandet der Beschwerdeführer den Entscheid des Kammergerichts Berlin vom 27. Juni 2011 mit Bezug auf die Frage des widerrechtlichen Verbringens des Kindes nach Deutschland als willkürlich und daher für die Schweiz nicht verbindlich. Im Ergebnis wirft der Beschwerdeführer mit seinen Ausführungen dem Obergericht vor, es habe nicht <ref-law> entsprechend abgeklärt, ob die Beschwerdegegnerin den Sohn widerrechtlich nach Deutschland entführt habe.
5.1 Es ist in E. 2 bereits ausführlich dargelegt worden, dass das HKsÜ im vorliegenden Fall zur Anwendung gelangt. Der Beschwerdeführer hat das Verfahren in der Schweiz am 5. August 2011, also zu einem Zeitpunkt angehoben, als das HKsÜ für beide Staaten anwendbar war. Darauf kann ohne weitere Ausführungen verwiesen werden. Soweit der Beschwerdeführer etwas anderes behauptet, verkennt er die Rechtslage.
5.2 Nach <ref-law> sind die Behörden und Gerichte am gewöhnlichen Aufenthalt des Kindes zuständig, Massnahmen zum Schutz des Kindes oder dessen Vermögens zu treffen. Absatz 2 dieser Bestimmung sieht im Weiteren vor, dass bei einem Wechsel des gewöhnlichen Aufenthalts in einen andern Vertragsstaat die Behörden des Staates des neuen gewöhnlichen Aufenthalts zuständig sind (Ausschluss der perpetuatio fori). Dies gilt allerdings nur unter dem Vorbehalt von <ref-law>. Diese Bestimmung behandelt in Absatz 1 das widerrechtliche Verbringen oder Zurückhalten des Kindes in einen andern Staat und sieht für diesen Fall die Zuständigkeit desjenigen Vertragsstaats vor, in dem das Kind unmittelbar vor dem Verbringen in den andern Vertragsstaat seinen gewöhnlichen Aufenthalt hatte. Auf den konkreten Fall bezogen bedeutet dies, dass bei einem widerrechtlichen Verbringen des Kindes nach Deutschland die örtliche Zuständigkeit der Behörden und Gerichte der Schweiz (wo das Kind vor dem Verbringen nach Deutschland seinen gewöhnlichen Aufenthalt hatte) grundsätzlich gegeben ist. Nach dem letzten Nebensatz dieser Bestimmung gilt dies aber nur solange, bis das Kind einen gewöhnlichen Aufenthalt in einem andern Staat (hier Deutschland) erlangt hat. Demnach schliesst <ref-law> entgegen der offenbaren Auffassung des Beschwerdeführers nicht aus, dass der allenfalls widerrechtlich nach Deutschland verbrachte Sohn dort einen neuen gewöhnlichen Aufenthalt begründen kann mit der Folge, dass die dortigen Behörden zum Erlass von Kindesschutzmassnahmen gemäss HKsÜ örtlich zuständig sind. Damit dies eintrifft, ist nebst der Begründung eines neuen gewöhnlichen Aufenthalts zusätzlich erforderlich, dass entweder die Voraussetzungen der lit. a oder jene der lit. b von <ref-law> gegeben sind. Das Obergericht hat im konkreten Fall die Voraussetzungen von lit. a ausgeklammert und sich nur auf jene von lit. b konzentriert. Dementsprechend ist vorliegend zu prüfen, ob das Kind in Deutschland einen neuen gewöhnlichen Aufenthalt begründet hat, und wenn ja, ob zusätzlich die Voraussetzungen von <ref-law> erfüllt sind. Kann dies bejaht werden, braucht, wie das Obergericht zu Recht feststellt, nicht geklärt zu werden, ob ein widerrechtliches Verbringen des Kindes nach Deutschland gegeben ist. Sind nämlich die beschriebenen Voraussetzungen erfüllt, ist nach dem Sinn von <ref-law> die Zuständigkeit der deutschen Behörden am neuen gewöhnlichen Aufenthalt des Kindes zum Erlass von Kindesschutzmassnahmen gegeben, selbst wenn das Kind widerrechtlich nach Deutschland verbracht worden wäre. Dementsprechend kann auch offen gelassen werden, ob der Entscheid des Kammergerichts Berlin vom 27. Juni 2011 mit Bezug auf die Verneinung der Widerrechtlichkeit des Verbringens krass falsch ausgefallen ist, wie der Beschwerdeführer behauptet.
6. Unter dem gewöhnlichen Aufenthalt ist der tatsächliche Mittelpunkt der Lebensführung des Kindes zu verstehen (<ref-ruling> E. 3 S. 122: "le centre effectif de sa vie et de ses attaches"; vgl. <ref-ruling> E. 4d S. 339), welcher sich aus der tatsächlichen Dauer des Aufenthaltes und den dadurch begründeten Beziehungen oder aus der voraussichtlichen Dauer des Aufenthalts und der damit zu erwartenden Integration ergibt (grundlegend: Urteil 5P.367/2005 vom 15. November 2005 E. 5.1 in Fampra.ch 2006 S. 474). Der gewöhnliche Aufenthalt bestimmt sich aufgrund der nach aussen erkennbaren tatsächlichen Umstände; innere Umstände, wie etwa der Wille, sind dabei nicht massgebend. In der Regel fällt der gewöhnliche Aufenthalt eines Kindes mit dem Lebensmittelpunkt mindestens eines Elternteils zusammen (siehe dazu <ref-ruling> E. 4.1 S. 292 und Urteile 5A_427/2009 vom 27. Juli 2009 E. 3.2; 5A_650/2009 vom 11. November 2009 E. 5.2). Im vorliegenden Fall ist in tatsächlicher Hinsicht unbestritten festgestellt, dass die Beschwerdegegnerin am 7. Mai 2010 mit dem am 17. Juli 2008 geborenen gemeinsamen Sohn der Parteien nach Berlin gezogen ist und sich das Kind seither dort bei seiner Mutter aufhält. Bei dieser tatsächlichen Ausgangslage lässt sich die Begründung eines (neuen) gewöhnlichen Aufenthalts in Deutschland nicht ernsthaft bestreiten. Das Obergericht stellt sodann unangefochten fest, dass der Beschwerdeführer seit mittlerweile weit mehr als einem Jahr weiss, dass sich das Kind bei seiner Mutter in Berlin aufhält. Unbestritten ist ferner, dass seit dem Entscheid des Kammergerichts Berlin vom 27. Juni 2011 kein Antrag auf Rückführung mehr hängig ist. Schliesslich stellt das Obergericht unangefochten und damit verbindlich fest, dass der Beschwerdeführer heute wohl zu Recht nicht mehr behaupte, sein Sohn habe sich in Deutschland nicht eingelebt.
7. Ist aber in Deutschland ein neuer gewöhnlicher Aufenthalt begründet worden und sind abgesehen davon auch sämtliche Voraussetzungen von <ref-law> erfüllt, so sind die schweizerischen Behörden zum Erlass von Kindesschutzmassnahmen nicht mehr zuständig. Bei dieser Sach- und Rechtslage bestand kein Anspruch darauf, dass sich das Obergericht zur Widerrechtlichkeit des Verbringens bzw. zur behaupteten Willkür des Entscheids des Kammergerichts Berlin vom 27. Juni 2011 und zum Einfluss dieses Entscheids auf <ref-law> äussert. Das Obergericht hat die Bestimmungen des HKsÜ ihrem Sinn entsprechend ausgelegt. Die Beschwerde ist somit abzuweisen.
8. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Er hat die Gegenpartei jedoch für das bundesgerichtliche Verfahren nicht zu entschädigen, da keine Vernehmlassung eingeholt worden ist.
9. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege ist abzuweisen, zumal sich die Beschwerde angesichts des klaren Wortlautes von <ref-law> als von vornherein aussichtslos erwiesen hat (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Sozialbehörde A._, Vormundschaftskommission, und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 20. August 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zbinden