Sachverhalt: A. Die Erbengemeinschaft U._, bestehend aus X._, Y._ und Z._, ist Eigentümerin des Grundstücks Kat.-Nr. 12130 in Küsnacht. Das Grundstück mit einer Fläche von rund 8'100 m2 liegt im Ortsteil Itschnach an leichter Hanglage teils in der Kernzone K2 (ca. 2'200 m2), teils in der Wohnzone W2/1.2 (ca. 4'940 m2) und teils in der Freihaltezone (ca. 970 m2) gemäss Bau- und Zonenordnung der Gemeinde Küsnacht. Der in der Kernzone gelegene Grundstücksteil ist mit einem ehemaligen Bauernwohnhaus (V._), einer sich unmittelbar südwestlich davon befindenden Wagenremise und einer südlich des Wohnhauses gelegenen grösseren Scheune überbaut. Zwischen der Scheune und der Remise steht ein Nussbaum, welcher im kommunalen Ortsbildinventar als wichtiger Einzelbaum enthalten ist. B. Mit Beschluss vom 25. November 2008 verweigerte die Baukommission der Gemeinde Küsnacht X._, Y._ und Z._ die Entlassung des Nussbaums aus dem kommunalen Ortsbildinventar. X._, Y._ und Z._ erhoben gegen diesen Beschluss Rekurs bei der Baurekurskommission II des Kantons Zürich. Gleichzeitig ersuchten sie den Gemeinderat Küsnacht um einen Entscheid über die Schutzwürdigkeit des Nussbaums mit dem Antrag auf Nichtunterschutzstellung und Entlassung aus dem Ortsbildinventar. Mit Beschluss vom 15. Juli 2009 stellte der Gemeinderat Küsnacht den Nussbaum unter Schutz. Er untersagte das Fällen des Baums und verpflichtete die Eigentümer, den Baum zu erhalten und fachgerecht zu pflegen. Auch gegen diesen Beschluss erhoben X._, Y._ und Z._ Rekurs an die Baurekurskommission II. C. Mit Entscheid vom 1. Juni 2010 wies die Baurekurskommission II den Rekurs gegen den Beschluss des Gemeinderats vom 15. Juli 2009 ab und schrieb den gegen den Beschluss der Baukommission vom 25. November 2008 erhobenen Rekurs als gegenstandslos geworden ab. Eine von X._, Y._ und Z._ gegen den Entscheid der Baurekurskommission II erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 8. Februar 2012 ab. D. Gegen den Entscheid des Verwaltungsgerichts haben X._, Y._ und Z._ am 22. März 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, das angefochtene Urteil und die Beschlüsse der Baukommission vom 25. November 2008 sowie des Gemeinderats vom 15. Juli 2009 seien aufzuheben. Eventuell sei die Sache zur ergänzenden Sachverhaltsfeststellung und zu neuem Entscheid an die Vorinstanz zurückzuweisen. E. Die Vorinstanz beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei, und verzichtet im Übrigen auf Vernehmlassung. Die Baukommission und der Gemeinderat beantragen mit gemeinsamer Vernehmlassung die Abweisung der Beschwerde. Im weiteren Schriftenwechsel halten die Beschwerdeführer und die Baukommission sowie der Gemeinderat an ihren Anträgen fest.