Sachverhalt: A. Der 1974 geborene brasilianische Staatsangehörige X._ reiste im November 2003 in die Schweiz ein, wo er am 24. Januar 2004 eine schweizerische Staatsangehörige heiratete und infolgedessen eine Aufenthaltsbewilligung erhielt. Am 18. Januar 2005 kam die gemeinsame Tochter zur Welt. Am 16. Oktober 2006 wurde das eheliche Zusammenleben mit dem Auszug von X._ aus der gemeinsamen Wohnung beendet und in der Folge nicht wieder aufgenommen. Mit Urteil vom 27. Mai 2009 wurde die Ehe geschieden und die elterliche Sorge über das Kind wurde der Mutter übertragen. X._ wurde ein Besuchsrecht für jedes zweite Wochenende eingeräumt (vorbehaltlich einer speziellen Regelung für bestimmte Feiertage). B. Am 10. August 2009 unterbreitete das Migrationsamt des Kantons Zürich dem Bundesamt für Migration (BFM) einen Antrag auf Zustimmung zur Verlängerung der Aufenthaltsbewilligung von X._. Mit Verfügung vom 24. November 2009 verweigerte das BFM indessen seine Zustimmung und es wies X._ aus der Schweiz weg. Eine vom Betroffenen hiergegen erhobene Beschwerde beim Bundesverwaltungsgericht wurde mit Urteil vom 24. Oktober 2011 abgewiesen. C. Mit Eingabe vom 29. November 2011 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt im Wesentlichen den Antrag, es sei das Urteil des Bundesverwaltungsgerichts aufzuheben und das BFM anzuweisen, der Verlängerung der Aufenthaltsbewilligung zuzustimmen. Während das Bundesverwaltungsgericht auf eine Vernehmlassung verzichtet, schliesst das BFM auf Abweisung der Beschwerde. Mit Verfügung vom 6. Dezember 2011 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde aufschiebende Wirkung zu.