Sachverhalt: A. X._ und Y._ sind Eigentümer des in der Landwirtschaftszone gelegenen Hofs Z._ in Wädenswil. Ihr Sohn lebt zusammen mit seiner Ehefrau und drei Kindern im zum Hof gehörenden Gebäude Assek.-Nr. 4652 auf dem Grundstück Kat.-Nr. 12353. Mit Verfügung vom 16. August 2010 verweigerte die Baudirektion des Kantons Zürich die Bewilligung für verschiedene, teilweise bereits ausgeführte bauliche Massnahmen in bzw. an diesem Gebäude. Mit Beschluss vom 7. September 2010 ordnete die Baukommission Wädenswil an, X._ und Y._ hätten bis spätestens 30. April 2011 im Gebäude Assek.-Nr. 4652 auf dem Grundstück Kat.-Nr. 12353 den rechtmässigen Zustand wieder herzustellen, das heisst, die Küche im Erdgeschoss und die Wohnräume/Zimmer im Obergeschoss zurückzubauen. B. Einen von X._ und Y._ gegen diese Entscheide erhobenen Rekurs wies das Baurekursgericht des Kantons Zürich am 1. Februar 2011 ab. Es setzte die Frist zur Wiederherstellung des rechtmässigen Zustands neu auf sechs Monate ab Rechtskraft seines Urteils an. Die von X._ und Y._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 26. Mai 2011 ab. C. Gegen das Urteil des Verwaltungsgerichts haben X._ und Y._ am 23. August 2011 Beschwerde ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und die mit Verfügung der Baudirektion vom 16. August 2010 sowie Beschluss der Baukommission vom 7. September 2010 verweigerte Nutzung des Gebäudes Assek.-Nr. 4652 zu bewilligen. Eventualiter sei die Sache zur weiteren Behandlung an die Vorinstanz zurückzuweisen. D. Mit Verfügung vom 7. Oktober 2011 hat das Bundesgericht der Beschwerde aufschiebende Wirkung zuerkannt. E. Die Vorinstanz beantragt unter Hinweis auf den angefochtenen Entscheid, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Baudirektion unter Hinweis auf den angefochtenen Entscheid und (sinngemäss) die Baukommission beantragen die Abweisung der Beschwerde. Das zur Stellungnahme eingeladene Bundesamt für Raumentwicklung weist auf die grundsätzliche Bedeutung hin, die der Wiederherstellung des rechtmässigen Zustands ausserhalb der Bauzonen von Bundesrechts wegen zukomme, und verzichtet ansonsten auf eine Vernehmlassung.