Sachverhalt: A. Die Gemeinde Affoltern am Albis teilte am 8. Januar 2009 X._ mit, es sei festgestellt worden, dass auf seinem Grundstück Kat.-Nr. 6002, Hüslimatten, eine "Besenbeiz" betrieben werde. Daher werde er u.a. aufgefordert, bis spätestens am 23. Januar 2009 ein Baugesuch für die "Besenbeiz" zu beantragen. Mit Baugesuch vom 16. Februar 2009 kam X._ dieser Aufforderung nach. In einem separaten Schreiben wies er darauf hin, die Räumlichkeiten böten ca. 35-40 Sitzplätze; die Öffnungszeiten seien voraussichtlich von Freitag bis Sonntag geplant. Im Nachgang zu einem am 6. Mai 2009 ergangenen Schreiben der Baudirektion des Kantons Zürich, worin raumplanerische Hindernisse festgehalten wurden, verlangte X._ am 25. Juni 2009 die vollständige Behandlung des Baugesuchs im formell koordinierten und kostenpflichtigen Verfahren. B. Am 15. Dezember 2009 verweigerte die Baudirektion nachträglich sowohl die Bewilligung nach Art. 22 RPG als auch eine Ausnahmebewilligung nach Art. 24-24d bzw. Art. 37a RPG für den Umbau bzw. die Umnutzung des einstmals als Kuhstall genutzten Ökonomiegebäudes Assek.-Nr. 2168 in einen Club-/Partyraum mit Küche und sanitären Anlagen, bewilligte aber nachträglich den Ersatz der Fenster nach Art. 24a RPG. Entsprechend verweigerte der Bauausschuss der Gemeinde Affoltern am Albis am 15. Januar 2010 nachträglich die baurechtliche Bewilligung für den Einbau des Club-/Partyraums mit Küche und sanitären Anlagen nach Art. 22 RPG, ebenso die Ausnahmebewilligung nach Art. 24-24d bzw. Art. 37a RPG. Weiter verfügte er, den Betrieb der "Besenbeiz" unverzüglich einzustellen, bis spätestens am 30. April 2010 den rechtmässigen Zustand wiederherzustellen, namentlich die WC-Anlagen, die Küche sowie allfällige Isolationen der Gebäudehülle wieder zu entfernen, für die vorgenommenen und nie bewilligten Änderungen in der Umgebung das notwendige Baugesuch bis spätestens am 15. Februar 2010 der Hochbauabteilung einzureichen oder den ursprünglichen Zustand bis am 30. April 2010 wiederherzustellen sowie den Rückbau der Hochbauabteilung zur Abnahme anzumelden; andernfalls, ohne erfolgten Rückbau, werde nach Ablauf der festgesetzten Frist die Ersatzvornahme verfügt. Hingegen wurde der Ersatz der Fenster nach Art. 24a RPG nachträglich bewilligt. Die Verfügung der Baudirektion vom 15. Dezember 2009 wurde zum integrierenden Bestandteil der kommunalen Verfügung erklärt. C. In der Folge gelangte X._ an die Baurekurskommission II des Kantons Zürich. Am 1. Februar 2011 wies das nunmehrige Baurekursgericht den Rekurs ab. Für den verlangten Rückbau wurde X._ eine Frist von drei Monaten ab Eintritt der Rechtskraft des Entscheids gesetzt. Hiergegen erhob X._ Beschwerde ans Verwaltungsgericht des Kantons Zürich. Dessen 3. Abteilung, 3. Kammer, hat die Beschwerde mit Urteil vom 9. Juni 2011 abgewiesen. D. In seiner Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. August 2011 beantragt X._ dem Bundesgericht die Aufhebung des verwaltungsgerichtlichen Urteils. Gleichzeitig ersucht er um Gewährung der aufschiebenden Wirkung. Der Bauausschuss Affoltern am Albis schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Die Baudirektion des Kantons Zürichs beantragt unter Verweis auf das angefochtene Urteil, die Beschwerde sei abzuweisen. Auch das kantonale Verwaltungsgericht stellt Antrag auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) weist in seiner Stellungnahme auf die grundsätzliche Bedeutung hin, die der Wiederherstellung des rechtmässigen Zustands ausserhalb der Bauzonen zukommt. Der Beschwerdeführer hält in seiner weiteren Eingabe vom 31. Januar 2012 sinngemäss an seinen Anträgen fest. E. Mit Verfügung vom 5. September 2011 hat der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.