Sachverhalt:
A. Die Gemeinde Affoltern am Albis teilte am 8. Januar 2009 X._ mit, es sei festgestellt worden, dass auf seinem Grundstück Kat.-Nr. 6002, Hüslimatten, eine "Besenbeiz" betrieben werde. Daher werde er u.a. aufgefordert, bis spätestens am 23. Januar 2009 ein Baugesuch für die "Besenbeiz" zu beantragen.
Mit Baugesuch vom 16. Februar 2009 kam X._ dieser Aufforderung nach. In einem separaten Schreiben wies er darauf hin, die Räumlichkeiten böten ca. 35-40 Sitzplätze; die Öffnungszeiten seien voraussichtlich von Freitag bis Sonntag geplant.
Im Nachgang zu einem am 6. Mai 2009 ergangenen Schreiben der Baudirektion des Kantons Zürich, worin raumplanerische Hindernisse festgehalten wurden, verlangte X._ am 25. Juni 2009 die vollständige Behandlung des Baugesuchs im formell koordinierten und kostenpflichtigen Verfahren.
B. Am 15. Dezember 2009 verweigerte die Baudirektion nachträglich sowohl die Bewilligung nach Art. 22 RPG als auch eine Ausnahmebewilligung nach Art. 24-24d bzw. Art. 37a RPG für den Umbau bzw. die Umnutzung des einstmals als Kuhstall genutzten Ökonomiegebäudes Assek.-Nr. 2168 in einen Club-/Partyraum mit Küche und sanitären Anlagen, bewilligte aber nachträglich den Ersatz der Fenster nach Art. 24a RPG.
Entsprechend verweigerte der Bauausschuss der Gemeinde Affoltern am Albis am 15. Januar 2010 nachträglich die baurechtliche Bewilligung für den Einbau des Club-/Partyraums mit Küche und sanitären Anlagen nach Art. 22 RPG, ebenso die Ausnahmebewilligung nach Art. 24-24d bzw. Art. 37a RPG. Weiter verfügte er, den Betrieb der "Besenbeiz" unverzüglich einzustellen, bis spätestens am 30. April 2010 den rechtmässigen Zustand wiederherzustellen, namentlich die WC-Anlagen, die Küche sowie allfällige Isolationen der Gebäudehülle wieder zu entfernen, für die vorgenommenen und nie bewilligten Änderungen in der Umgebung das notwendige Baugesuch bis spätestens am 15. Februar 2010 der Hochbauabteilung einzureichen oder den ursprünglichen Zustand bis am 30. April 2010 wiederherzustellen sowie den Rückbau der Hochbauabteilung zur Abnahme anzumelden; andernfalls, ohne erfolgten Rückbau, werde nach Ablauf der festgesetzten Frist die Ersatzvornahme verfügt. Hingegen wurde der Ersatz der Fenster nach Art. 24a RPG nachträglich bewilligt. Die Verfügung der Baudirektion vom 15. Dezember 2009 wurde zum integrierenden Bestandteil der kommunalen Verfügung erklärt.
C. In der Folge gelangte X._ an die Baurekurskommission II des Kantons Zürich. Am 1. Februar 2011 wies das nunmehrige Baurekursgericht den Rekurs ab. Für den verlangten Rückbau wurde X._ eine Frist von drei Monaten ab Eintritt der Rechtskraft des Entscheids gesetzt.
Hiergegen erhob X._ Beschwerde ans Verwaltungsgericht des Kantons Zürich. Dessen 3. Abteilung, 3. Kammer, hat die Beschwerde mit Urteil vom 9. Juni 2011 abgewiesen.
D. In seiner Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. August 2011 beantragt X._ dem Bundesgericht die Aufhebung des verwaltungsgerichtlichen Urteils. Gleichzeitig ersucht er um Gewährung der aufschiebenden Wirkung.
Der Bauausschuss Affoltern am Albis schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Die Baudirektion des Kantons Zürichs beantragt unter Verweis auf das angefochtene Urteil, die Beschwerde sei abzuweisen. Auch das kantonale Verwaltungsgericht stellt Antrag auf Abweisung der Beschwerde.
Das Bundesamt für Raumentwicklung (ARE) weist in seiner Stellungnahme auf die grundsätzliche Bedeutung hin, die der Wiederherstellung des rechtmässigen Zustands ausserhalb der Bauzonen zukommt.
Der Beschwerdeführer hält in seiner weiteren Eingabe vom 31. Januar 2012 sinngemäss an seinen Anträgen fest.
E. Mit Verfügung vom 5. September 2011 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Gestützt auf <ref-law> beurteilt das Bundesgericht Beschwerden gegen Entscheide in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund. Gemäss Art. 34 Abs. 1 RPG in der Fassung nach Ziff. 64 des Anhangs zum Bundesgesetz vom 17. Juni 2005 über das Bundesverwaltungsgericht (VGG; SR 173.32; vgl. AS 2006 2261) gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege (<ref-ruling> E. 1.2 S. 251). Der Beschwerdeführer als Grundeigentümer, dem die nachträgliche Baubewilligung für seine "Besenbeiz" verweigert und Frist zur Wiederherstellung des rechtmässigen Zustands gesetzt wurde, ist zur Beschwerde legitimiert (zur Legitimation gemäss <ref-law> siehe <ref-ruling> E. 1.3.3 S. 253 f.). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, weshalb auf die Beschwerde - unter Vorbehalt gehörig begründeter Rügen (E. 1.2 hiernach) - einzutreten ist.
1.2 Nach <ref-law> ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Genügt die Beschwerdeschrift diesen Begründungsanforderungen nicht, so ist darauf nicht einzutreten. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>); dies setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die minimalen Begründungsanforderungen von <ref-law> erfüllt.
Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung; dazu <ref-ruling> E. 1.4.3 S. 255) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Für derartige Rügen gelten die gleichen Begründungsanforderungen, wie sie gestützt auf Art. 90 Abs. 1 lit. b OG für die staatsrechtliche Beschwerde gegolten haben (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.3 S. 261 mit Hinweisen).
2. Der Beschwerdeführer wendet sich gegen die von den kantonalen Behörden angeordnete Wiederherstellung des rechtmässigen Zustands. Zunächst rügt er, dass das Verwaltungsgericht von einem Augenschein abgesehen hat. Die Verhältnisse vor Ort seien für die Beurteilung der Standortgebundenheit von zentraler Bedeutung. In diesem Zusammenhang macht der Beschwerdeführer eine unrichtige Feststellung des Sachverhalts geltend. Sinngemäss lässt sich aus seinen Ausführungen auf eine (nicht rechtsgenüglich vorgebrachte) Rüge wegen Verletzung des rechtlichen Gehörs schliessen.
2.1 Die Ausführungen des Beschwerdeführers erschöpfen sich über weite Teile in pauschalen Bestreitungen, welche den Rügeanforderungen nicht zu genügen vermögen. Einerseits lagen dem Verwaltungsgericht die gesamten Baugesuchsunterlagen vor, welche u.a die Baupläne beinhalten. Daneben finden sich in den Akten zahlreiche weitere Dokumente, die Aufschluss über die Lage und Art des umstrittenen Betriebs geben. So wurden vor dem Baurekursgericht Fotos, der Ausdruck einer Internetseite des Beschwerdeführers über das umstrittene "Lamabeizli" und ein Orthofoto des GIS-Browsers eingereicht (insbesondere act. 8.5, 8.6, 8.8 und 8.9 der Baurekurskommission II). Auf diese Unterlagen konnte das Verwaltungsgericht zurückgreifen. Es ist ihm im Übrigen nicht vorzuwerfen, wenn es zur Abschätzung der Distanzen zwischen dem Betrieb des Beschwerdeführers und den bereits vorhandenen Gastgewerbsbetrieben auf den Google Routenplaner zurückgegriffen hat. Diese Informationen wären auch auf einer herkömmlichen Landkarte zugänglich gewesen. Eine Begehung vor Ort drängt sich nicht auf. Warum dem Verwaltungsgericht der Zugriff auf die einfach verfügbaren Internetangaben nicht offen stehen soll, ist nicht ersichtlich und auch nicht rechtsgenüglich dargetan. Hinzu kommt, dass den exakten Wegdistanzen nicht allein entscheidrelevante Bedeutung zukommt. Massgeblich ist vielmehr die Nähe des Betriebs zum Siedlungsgebiet, in welchem sicherlich genügend Gaststätten vorhanden sind. Zu dieser Feststellung konnte das Verwaltungsgericht willkürfrei ohne weitere Beweiserhebungen gelangen. Die vom Beschwerdeführer behauptete Entfernung von 3 km zum nächsten Gasthof genügt bei Weitem nicht, um in abstrakter Weise einen Bedarfsnachweis und damit die Standortgebundenheit des Betriebs zu begründen (vgl. dazu eingehend das Urteil 1C_533/2010 des Bundesgerichts vom 20. Juli 2011 E. 3).
2.2 Weiter wirft der Beschwerdeführer dem Verwaltungsgericht vor, es habe mangelhaft begründet, warum das Bauvorhaben selbst ohne damit verbundenem erheblichen Mehrverkehr nicht bewilligungsfähig wäre. Auch diese Behauptung geht fehl, hält doch die Vorinstanz in Ziff. 5.2 des angefochtenen Entscheids unmissverständlich fest, die Voraussetzungen für die Erteilung einer Bewilligung nach Art. 24 RPG seien in keiner Weise erfüllt. Diese Aussage ist im Kontext mit den vorstehenden Erwägungen zur Standortgebundenheit zu verstehen. Nachdem das Verwaltungsgericht letztere zu Recht klar verneinen konnte, brauchte es auf die mit dem Betrieb verbundenen Mehrimmissionen nicht mehr weiter einzugehen.
2.3 Soweit der Beschwerdeführer in Bezug auf den mit dem Restaurant verbundenen Mehrverkehr behauptet, eine gewisse Motorisierung bestehe im Hinblick auf die Besuche des "Lamabeizli" ohnehin, vermag er daraus keinerlei Ansprüche abzuleiten. In E. 6.3 des Entscheids des Baurekursgerichts vom 1. Februar 2011 wurde festgehalten, für die landwirtschaftsfremde Tierhaltung sei bis anhin keine raumplanungsrechtliche Bewilligung erteilt worden. Der kommunale Bauausschuss hat denn den Beschwerdeführer auch zur Einreichung eines entsprechenden Baugesuchs aufgefordert. Dagegen hat der Beschwerdeführer nicht rekurriert. Dass die offenkundig nicht bewilligte Lamahaltung und erst recht das nun strittige Gastgewerbe bedeutend mehr Verkehr generieren als ein traditioneller zonenkonformer Landwirtschaftsbetrieb, liegt auf der Hand und bedarf keiner weiteren Erörterungen.
2.4 Insgesamt vermag der Beschwerdeführer keine offensichtlich falsche Sachverhaltsfeststellung darzutun, erst recht keine, die Auswirkungen auf den Verfahrensausgang hätte (vgl. <ref-law>). Eine Behörde darf ohne Verletzung des rechtlichen Gehörs auf die Abnahme beantragter Beweismittel verzichten, wenn sie aufgrund der bereits abgenommenen Beweise ihre Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass ihre Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 4a S. 211; <ref-ruling> E. 4a S. 469; je mit Hinweisen). Das Vorgehen des Verwaltungsgerichts ist weder in verfassungs- noch in bundesrechtlicher Hinsicht zu beanstanden.
3. Was die materiell-rechtlichen Rügen anbelangt, lässt die Beschwerde ebenfalls eine einlässliche rechtgenügliche Auseinandersetzung mit dem angefochtenen Entscheid vermissen. Der Beschwerdeführer legt nochmals seine Sicht der Dinge dar, ohne aufzuzeigen, inwiefern das Verwaltungsgericht die einschlägigen Normen des RPG falsch ausgelegt oder angewandt hätte. In erster Linie rügt er die Unverhältnismässigkeit des Rückbaus und beruft sich auf seine Gutgläubigkeit.
3.1 Zunächst kann festgehalten werden, dass die rechtliche Würdigung des Verwaltungsgerichts hinsichtlich der verweigerten Baubewilligung zu keinen Beanstandungen Anlass gibt. Die Vorinstanz durfte die Standortgebundenheit des Gastwirtschaftsbetriebs in Übereinstimmung mit der Rechtsprechung zu Art. 24 RPG verneinen (Urteil 1C_533/2010 des Bundesgerichts vom 20. Juli 2011 E. 3). Dass andere Normen zur Anwendung gelangen sollten, wird vom Beschwerdeführer zu Recht nicht behauptet. Es kann auf die zutreffenden Erwägungen des angefochtenen Entscheids verwiesen werden (<ref-law>).
3.2 Der Umstand allein, dass keine nachträgliche Bewilligung für die Gaststätte erteilt werden kann, bedeutet noch nicht automatisch, dass diese Nutzung aufgegeben und der rechtmässige Zustand wiederhergestellt werden muss (<ref-ruling> E. 4b S. 255). Vielmehr sind die in diesem Zusammenhang massgebenden allgemeinen verfassungs- und verwaltungsrechtlichen Prinzipien zu berücksichtigen. Zu ihnen gehören namentlich die in <ref-law> festgehaltenen Grundsätze der Verhältnismässigkeit und des Schutzes des guten Glaubens. So kann die Wiederherstellung des rechtmässigen Zustands unterbleiben, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt, ebenso, wenn der Bauherr in gutem Glauben angenommen hat, die von ihm ausgeübte Nutzung stehe mit der Baubewilligung im Einklang, und ihre Fortsetzung nicht schwerwiegenden öffentlichen Interessen widerspricht (<ref-ruling> E. 6 S. 35; <ref-ruling> E. 6 S. 221 mit Hinweisen). Ein Wiederherstellungsbefehl erweist sich dann als unverhältnismässig, wenn die Abweichung vom Gesetz gering ist und die berührten allgemeinen Interessen den Schaden, der dem Eigentümer durch die Wiederherstellung entstünde, nicht zu rechtfertigen vermögen.
3.3 Der vom Beschwerdeführer unterhaltene Betrieb stellt aber eine bedeutsame Verletzung eines der nach der bundesgerichtlichen Rechtsprechung wichtigsten Prinzipien des Raumplanungsrechts des Bundes dar, nämlich des Grundsatzes der Trennung des Baugebiets vom Nichtbaugebiet (<ref-ruling> E. 6.4 S. 40; <ref-ruling> E. 6b S. 225). Das Verwaltungsgericht verweist denn auch nachdrücklich darauf, dass die vorgenommenen baulichen Änderungen und die Umnutzung (dazu zählt es auch die Isolation und die Errichtung der WC-Anlage), keineswegs bloss geringfügiger Natur seien. Zu Recht hat darum das Verwaltungsgericht das öffentliche Interesse an der Wiederherstellung des rechtmässigen Zustands höher gewichtet als das private an der Beibehaltung des zonenwidrigen Betriebs ausserhalb der Bauzone.
3.4 Der Behauptung, er sei bei der Ausführung der unbewilligten Bauten gutgläubig gewesen, hält das Verwaltungsgericht zutreffend entgegen, die massiven Eingriffe seien naturgemäss nicht gutgläubig erfolgt, selbst wenn die Anregung dazu von Besuchern gekommen sei. Vielmehr sei davon auszugehen, dass dem Beschwerdeführer der raumplanerische Stellenwert des betroffenen Gebäudes Assek-Nr. 2168 und die beschränkten Möglichkeiten für eine allfällige Nutzungsänderung sehr wohl bekannt gewesen seien. Mit Verfügung der Baudirektion vom 7. August 2006 sei nämlich im Zusammenhang mit der Bewilligung des Einbaus eines Heizungsraums in diese Scheune zugunsten des benachbarten Wohnhauses Assek-Nr. 2167 unter Hinweis auf die zu beachtenden planungsrechtlichen Grundsätze festgehalten worden, die Scheune dürfe nicht über die geplante Anlage beheizt werden (act. 8.13 der Baurekurskommission II). Daraus schliesst das Verwaltungsgericht, dem Beschwerdeführer habe von vornherein klar sein müssen, dass die von ihm vorgenommenen Änderungen nicht mit den raumplanerischen Grundsätzen vereinbar seien.
Selbst wenn dem Beschwerdeführer die genauen gesetzlichen Grundlagen nicht bekannt gewesen sein sollten, musste er sich bewusst sein, dass die erheblichen baulichen Veränderungen und insbesondere die neue Nutzung eines vormalig landwirtschaftlichen Betriebs als Gaststätte bewilligungspflichtig sind. Der rechtlichen Würdigung des Verwaltungsgerichts ist - auch hinsichtlich der Verhältnismässigkeit - nichts beizufügen.
4. Demzufolge ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang hat der Beschwerdeführer für die bundesgerichtlichen Kosten aufzukommen (<ref-law>). Parteientschädigungen sind keine zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Parteientschädigungen werden keine zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Bauausschuss Affoltern am Albis, der Baudirektion und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 22. März 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Scherrer Reber