Sachverhalt:
A. Der 1974 geborene brasilianische Staatsangehörige X._ reiste im November 2003 in die Schweiz ein, wo er am 24. Januar 2004 eine schweizerische Staatsangehörige heiratete und infolgedessen eine Aufenthaltsbewilligung erhielt. Am 18. Januar 2005 kam die gemeinsame Tochter zur Welt.
Am 16. Oktober 2006 wurde das eheliche Zusammenleben mit dem Auszug von X._ aus der gemeinsamen Wohnung beendet und in der Folge nicht wieder aufgenommen. Mit Urteil vom 27. Mai 2009 wurde die Ehe geschieden und die elterliche Sorge über das Kind wurde der Mutter übertragen. X._ wurde ein Besuchsrecht für jedes zweite Wochenende eingeräumt (vorbehaltlich einer speziellen Regelung für bestimmte Feiertage).
B. Am 10. August 2009 unterbreitete das Migrationsamt des Kantons Zürich dem Bundesamt für Migration (BFM) einen Antrag auf Zustimmung zur Verlängerung der Aufenthaltsbewilligung von X._. Mit Verfügung vom 24. November 2009 verweigerte das BFM indessen seine Zustimmung und es wies X._ aus der Schweiz weg. Eine vom Betroffenen hiergegen erhobene Beschwerde beim Bundesverwaltungsgericht wurde mit Urteil vom 24. Oktober 2011 abgewiesen.
C. Mit Eingabe vom 29. November 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt im Wesentlichen den Antrag, es sei das Urteil des Bundesverwaltungsgerichts aufzuheben und das BFM anzuweisen, der Verlängerung der Aufenthaltsbewilligung zuzustimmen.
Während das Bundesverwaltungsgericht auf eine Vernehmlassung verzichtet, schliesst das BFM auf Abweisung der Beschwerde.
Mit Verfügung vom 6. Dezember 2011 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zu.

Erwägungen:
1. Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen.
Der Beschwerdeführer behauptet, einen Anspruch auf Verlängerung seiner Aufenthaltsbewilligung zu haben und beruft sich hierzu auf Art. 50 Abs. 1 lit. b AuG sowie insbesondere auch auf Art. 8 EMRK und <ref-law>. Damit ein ausländischer Staatsangehöriger aufgrund des Schutzes des Familienlebens, der von den letztgenannten Bestimmungen garantiert wird, einen grundsätzlichen Bewilligungsanspruch herleiten kann, bedarf es einer engen und effektiv gelebten Beziehung zu einem Familienangehörigen mit Schweizer Staatsangehörigkeit oder Niederlassungsbewilligung. Eine intakte Beziehung zu einem eigenen Kind, welches das Recht hat, sich in der Schweiz aufzuhalten, reicht für die Bejahung der Beschwerdelegitimation ebenfalls aus, auch wenn dieses Kind familienrechtlich nicht der elterlichen Sorge oder Obhut des ausländischen Staatsangehörigen untersteht (vgl. <ref-ruling> E. 1d S. 3 mit Hinweisen).
Im vorliegenden Fall hat der Beschwerdeführer mit einer Schweizerin eine gemeinsame Tochter, welche ebenfalls das Schweizer Bürgerrecht besitzt. Der Beschwerdeführer ist nicht obhutsberechtigt, hält jedoch mittels eines Besuchsrechts den Kontakt zu seinem Kind aufrecht. Gemäss dem Gesagten steht deshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen. Es bleibt eine Frage der materiellen Beurteilung, ob es unter den konkreten Umständen mit Art. 8 EMRK bzw. <ref-law> vereinbar ist, dass das BFM die Zustimmung zur Verlängerung der Aufenthaltsbewilligung des Beschwerdeführers verweigert hat.
Auf die im Übrigen form- und fristgerecht (<ref-law>; <ref-law>) eingereichte Beschwerde kann daher eingetreten werden.
2. 2.1 Nach Art. 50 Abs. 1 lit. b AuG besteht der Anspruch des Ehegatten auf Verlängerung der Aufenthaltsbewilligung auch nach der Auflösung der Ehe oder der Familiengemeinschaft fort, wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen. Im Rahmen dieser Bestimmung ist auch dem Schutz des Familienlebens nach Art. 8 EMRK und <ref-law> Rechnung zu tragen. Insoweit ist namentlich zu berücksichtigen, ob der Ausländer Kinder in der Schweiz hat (Urteil 2C_568/2011 vom 16. November 2011 E. 3.3.1 mit Hinweisen; 2C_327/2010 vom 19. Mai 2011 E. 2.2, nicht publ. in <ref-ruling>).
2.2 Zwar kann es die Garantien von Art. 8 EMRK und <ref-law> verletzen, wenn einem Ausländer, der eine intakte familiäre Beziehung zu nahen Verwandten mit einem gefestigten Anwesenheitsrecht in der Schweiz unterhält, der weitere Verbleib in der Schweiz untersagt und damit das Familienleben vereitelt wird (<ref-ruling> E. 1.3.1 S. 145 f.; <ref-ruling> E. 3.1 S. 285; je mit Hinweisen). Auch setzt die Anwendbarkeit dieser Normen grundsätzlich nicht voraus, dass der ausländische Elternteil, der sich auf das Zusammenleben mit seinem schweizerischen oder in der Schweiz niederlassungsberechtigten Kind beruft, über das Sorge- bzw. Obhutsrecht verfügt (<ref-ruling> E. 1d S. 3; Urteil 2C_942/2010 vom 27. April 2011 E. 1.3). Der nicht sorge- bzw. obhutsberechtigte ausländische Elternteil kann die familiäre Beziehung mit seinen Kindern indes ohnehin nur in beschränktem Rahmen pflegen, nämlich durch Ausübung des ihm eingeräumten Besuchsrechts. Um dieses wahrnehmen zu können, ist nicht von vornherein erforderlich, dass der ausländische Elternteil dauerhaft im selben Land wie das Kind lebt und dort über ein Anwesenheitsrecht verfügt. Einem nicht sorgeberechtigten Ausländer kann die Aufenthaltsbewilligung ausnahmsweise dann erteilt oder erneuert werden, wenn in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung zum Kind besteht, diese wegen der Distanz zum Heimatland des Ausländers praktisch nicht mehr aufrechterhalten werden könnte und das bisherige Verhalten des Betroffenen in der Schweiz zu keinerlei Klagen Anlass gegeben hat (<ref-ruling> E. 3c S. 5; <ref-ruling> E. 4 S. 24 ff.; vgl. auch Urteil des EGMR i.S. Rodrigues da Silva und Hoogkamer gegen die Niederlande vom 31. Januar 2006 [50435/99], Ziff. 42 f., in: EuGRZ 2006 S. 562).
2.3 Streitig ist vorliegend in erster Linie, ob eine besonders enge affektive Beziehung zwischen dem Beschwerdeführer und seiner Tochter besteht. Der Beschwerdeführer behauptet dies und verweist in diesem Zusammenhang auf die Feststellung der Vorinstanz, wonach eine "intakte und gelebte Beziehung" bestehe. Auch die Kindsmutter und verschiedene Freunde und Nachbarn könnten bestätigen, dass er seine Tochter sehr liebe und in der Beziehung zu seiner Tochter "gegenseitig viel Herzlichkeit ausgestrahlt" werde bzw. dass Vater und Tochter ein "sehr inniges Verhältnis zueinander" hätten.
2.4 Die Ausführungen des Beschwerdeführers überzeugen nicht: Das Erfordernis der besonderen Intensität der affektiven Beziehung ist regelmässig bloss dann als erfüllt zu erachten, wenn ein grosszügig ausgestaltetes Besuchsrecht eingeräumt ist und dieses kontinuierlich, spontan und reibungslos ausgeübt wird (Urteil 2C_718/2010 vom 2. März 2011 E. 3.2.1 mit Hinweisen). Wie die Vorinstanz in diesem Zusammenhang für das Bundesgericht verbindlich feststellte (<ref-law>), wurde hier das väterliche Besuchsrecht ab Januar 2007 mit ein bis zwei Tagen alle zwei Wochen wahrgenommen. Die nachfolgende Trennungsvereinbarung vom März 2007 sah vor, dass der Beschwerdeführer seine Tochter jedes zweites Wochenende am Samstag und am Sonntag von 10 Uhr bis 18 Uhr sehen könne. Eine analoge Regelung ist auch in der Scheidungsfolgenvereinbarung vorgesehen, wobei diese noch spezielle Abmachungen für die Feiertage vorsieht. Bei dieser Sachlage ist der Schlussfolgerung des Bundesverwaltungsgerichts zuzustimmen, dass der Umfang des Besuchsrechts dem Minimalstandard entspricht und dem nicht sorgeberechtigten Elternteil zeitlich gerade erlaubt, seine Beziehung zum Kind überhaupt aufrecht zu erhalten. In jedem Fall geht die Ausgestaltung des Besuchsrechts und damit der soziale Kontakt zwischen Vater und Kind nicht über das übliche Mass hinaus (vgl. Urteil 2C_787/2010 vom 16. Juni 2011 E. 3.2.2 mit Hinweis). Daran vermag auch nichts zu ändern, dass der Beschwerdeführer vorbringt, er wünsche sich eine Ausweitung des Besuchsrechts und insbesondere auch Übernachtungen der Tochter an den Besuchswochenenden. Wie der Beschwerdeführer selbst ausführt, hat sich die Kindsmutter im Übrigen geweigert, solchen Übernachtungen der Tochter beim Vater zuzustimmen.
2.5 Aufgrund der obenstehenden Erwägungen erhellt, dass im vorliegenden Fall nicht von einer besonders engen affektiven Beziehung zwischen dem Beschwerdeführer und seiner Tochter ausgegangen werden kann. Dem Beschwerdeführer steht daher praxisgemäss kein Anspruch auf Verlängerung seiner Aufenthaltsbewilligung zu.
3. 3.1 Hilfsweise rügt der Beschwerdeführer, dass die bundesgerichtliche Praxis dem Wohl des schweizerischen Kindes nicht hinreichend Rechnung trage: Würde ihm der weitere Aufenthalt in der Schweiz verweigert, habe dies zur Folge, dass er als Kindsvater aus dem Alltag seiner Tochter verschwinde; für eine solche Einschränkung des Kindswohls sei das öffentliche Interesse an der Durchsetzung einer restriktiven Einwanderungspolitik nicht ausreichend. Im Zusammenhang mit diesen Vorbringen behauptet er eine Verletzung von Art. 8 EMRK, Art. 11 und <ref-law> sowie Art. 3, 9 und 18 des Übereinkommens vom 20. November 1989 über die Rechte des Kindes (SR 0.107).
3.2 Die Rüge ist unbegründet: Das Bundesgericht hat sich in <ref-ruling> E. 4 S. 249 ff. sowie im Urteil 2C_841/2009 vom 19. Mai 2011 E. 2 ausführlich damit auseinandergesetzt, inwieweit sich das Durchsetzen einer restriktiven Einwanderungspolitik mit den vom Beschwerdeführer vorliegend angerufenen völker- und verfassungsrechtlichen Bestimmungen vereinbaren lässt. Es kam dabei zum Schluss, dass das öffentliche Interesse an einer restriktiven Zuwanderungspolitik für sich alleine genommen (nur) dort nicht ausreichend sein kann, wo dem sorgeberechtigten ausländischen Elternteil eines Schweizer Kindes die weitere Anwesenheit mit der Folge verwehrt wird, dass das unmündige Kind faktisch dazu gezwungen wird, die Schweiz zu verlassen. Begründet wurde dies insbesondere damit, dass es unter Integrationsgesichtspunkten als wenig sinnvoll erscheint, einem schweizerischen Kind zuzumuten, im Ausland aufzuwachsen und in Kauf zu nehmen, dass es nach einer Rückkehr in die Schweiz - welche ihm nach seiner Mündigkeit jederzeit offen steht - mit den hiesigen Verhältnissen nicht oder kaum mehr vertraut ist. Eine solche Konstellation liegt hier unbestrittenermassen nicht vor: Der Beschwerdeführer ist weder obhuts- noch sorgeberechtigt. Auch im Falle einer Ausreise des Beschwerdeführers verbleibt das Kind in der Schweiz bei seiner schweizerischen Mutter, sodass die Gefahr von Integrationsschwierigkeiten nach Mündigkeit hier nicht besteht. Den Kontakt mit dem Kind kann der Beschwerdeführer mittels gegenseitigen Besuchen und den gängigen Kommunikationsformen wie Telefon, Internet und E-Mail, welche auch in Brasilien zur Verfügung stehen, aufrechterhalten.
4. 4.1 Schliesslich erblickt der Beschwerdeführer darin eine Verletzung des Willkürverbotes (<ref-law>), dass seine Aufenthaltsbewilligung nach Auflösung des ehelichen Haushaltes zuerst in Berücksichtigung der Beziehung zu seiner Tochter zweimal verlängert worden sei und ihm nun der weitere Aufenthalt verweigert werde, obwohl sich die Vater-Kind-Beziehung zwischenzeitlich noch weiter intensiviert habe.
4.2 Die Rüge geht ins Leere: Zum einen wurden die ins Feld geführten Bewilligungsverlängerungen vom Migrationsamt des Kantons Zürich erteilt, wogegen die hier streitige Zustimmungsverweigerung vom BFM verfügt wurde. Zum andern war der Beschwerdeführer zum Zeitpunkt der Verlängerung der Aufenthaltsbewilligung in den Jahren 2007 und 2008 formell noch mit seiner Schweizer Ehefrau verheiratet womit auch noch kein definitiver richterlicher Entscheid über die Scheidungsnebenfolgen, namentlich über den Umfang des Besuchsrechts vorlag, weshalb es damals noch gerechtfertigt gewesen sein mag, die Aufenthaltsbewilligung des Beschwerdeführers einstweilen zu verlängern. Von einem widersprüchlichen und somit willkürlichen Verhalten der Behörden kann bei dieser Sachlage keine Rede sein.
5. Nach dem Ausgeführten ist die Beschwerde unbegründet und somit abzuweisen.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die bundesgerichtlichen Kosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Migration sowie dem Bundesverwaltungsgericht, Abteilung III, schriftlich mitgeteilt.
Lausanne, 28. Juni 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler