Sachverhalt:
A. Die Erbengemeinschaft U._, bestehend aus X._, Y._ und Z._, ist Eigentümerin des Grundstücks Kat.-Nr. 12130 in Küsnacht. Das Grundstück mit einer Fläche von rund 8'100 m2 liegt im Ortsteil Itschnach an leichter Hanglage teils in der Kernzone K2 (ca. 2'200 m2), teils in der Wohnzone W2/1.2 (ca. 4'940 m2) und teils in der Freihaltezone (ca. 970 m2) gemäss Bau- und Zonenordnung der Gemeinde Küsnacht. Der in der Kernzone gelegene Grundstücksteil ist mit einem ehemaligen Bauernwohnhaus (V._), einer sich unmittelbar südwestlich davon befindenden Wagenremise und einer südlich des Wohnhauses gelegenen grösseren Scheune überbaut. Zwischen der Scheune und der Remise steht ein Nussbaum, welcher im kommunalen Ortsbildinventar als wichtiger Einzelbaum enthalten ist.
B. Mit Beschluss vom 25. November 2008 verweigerte die Baukommission der Gemeinde Küsnacht X._, Y._ und Z._ die Entlassung des Nussbaums aus dem kommunalen Ortsbildinventar. X._, Y._ und Z._ erhoben gegen diesen Beschluss Rekurs bei der Baurekurskommission II des Kantons Zürich. Gleichzeitig ersuchten sie den Gemeinderat Küsnacht um einen Entscheid über die Schutzwürdigkeit des Nussbaums mit dem Antrag auf Nichtunterschutzstellung und Entlassung aus dem Ortsbildinventar. Mit Beschluss vom 15. Juli 2009 stellte der Gemeinderat Küsnacht den Nussbaum unter Schutz. Er untersagte das Fällen des Baums und verpflichtete die Eigentümer, den Baum zu erhalten und fachgerecht zu pflegen. Auch gegen diesen Beschluss erhoben X._, Y._ und Z._ Rekurs an die Baurekurskommission II.
C. Mit Entscheid vom 1. Juni 2010 wies die Baurekurskommission II den Rekurs gegen den Beschluss des Gemeinderats vom 15. Juli 2009 ab und schrieb den gegen den Beschluss der Baukommission vom 25. November 2008 erhobenen Rekurs als gegenstandslos geworden ab. Eine von X._, Y._ und Z._ gegen den Entscheid der Baurekurskommission II erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 8. Februar 2012 ab.
D. Gegen den Entscheid des Verwaltungsgerichts haben X._, Y._ und Z._ am 22. März 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, das angefochtene Urteil und die Beschlüsse der Baukommission vom 25. November 2008 sowie des Gemeinderats vom 15. Juli 2009 seien aufzuheben. Eventuell sei die Sache zur ergänzenden Sachverhaltsfeststellung und zu neuem Entscheid an die Vorinstanz zurückzuweisen.
E. Die Vorinstanz beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei, und verzichtet im Übrigen auf Vernehmlassung. Die Baukommission und der Gemeinderat beantragen mit gemeinsamer Vernehmlassung die Abweisung der Beschwerde. Im weiteren Schriftenwechsel halten die Beschwerdeführer und die Baukommission sowie der Gemeinderat an ihren Anträgen fest.

Erwägungen:
1. Beim angefochtenen Urteil, mit welchem das Verwaltungsgericht die natur- und heimatschutzrechtliche Unterschutzstellung des auf dem Grundstück Kat.-Nr. 12130 stehenden Nussbaums bestätigte, handelt es sich um einen letztinstanzlichen kantonalen Endentscheid in einer öffentlich-rechtlichen Angelegenheit, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht grundsätzlich zulässig ist (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Als Adressaten des angefochtenen Urteils und einzige Mitglieder der Erbengemeinschaft, welche Eigentümerin des Grundstücks Kat.-Nr. 12130 ist, sind die Beschwerdeführer zur Beschwerde legitimiert (vgl. <ref-law>). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, sodass auf die Beschwerde einzutreten ist, soweit sie sich gegen die Unterschutzstellung des Nussbaums richtet.
2. Die Beschwerdeführer und die Baukommission sowie der Gemeinderat haben im bundesgerichtlichen Verfahren mehrere Fotografien und Visualisierungen eingereicht. Hierbei handelt es sich um unzulässige neue Beweismittel im Sinne von <ref-law>, die vom Bundesgericht nicht zu beachten sind. Angesichts der zahlreichen von der Vorinstanz eingereichten Pläne und Fotografien, welche die lokalen Begebenheiten in genügender Weise dokumentieren, wären die von den Beschwerdeführern und der Baukommission sowie dem Gemeinderat im bundesgerichtlichen Verfahren eingereichten Fotografien allerdings ohnehin nicht geeignet, neue entscheidwesentliche Erkenntnisse zu bringen.
Der rechtlich relevante Sachverhalt ergibt sich mit hinreichender Klarheit aus den Akten (vgl. auch E. 3.2), weshalb der Antrag der Beschwerdeführer auf Durchführung eines Augenscheins abzuweisen ist.
3. Die Beschwerdeführer machen geltend, die Vorinstanz habe unzulässigerweise auf einen von ihnen beantragten Augenschein verzichtet und damit <ref-law> sowie in willkürlicher Weise § 60 des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 (VRG; LS 175.2) verletzt.
3.1 Gemäss § 60 Satz 1 VRG erhebt das Verwaltungsgericht die zur Abklärung des Sachverhalts erforderlichen Beweise von Amtes wegen. Zum Anspruch auf rechtliches Gehör (<ref-law>) gehört das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheids zur Sache zu äussern sowie das Recht auf Abnahme der rechtzeitig und formrichtig angebotenen rechtserheblichen Beweismittel. Indes kann der Richter das Beweisverfahren schliessen, wenn die Anträge nicht erhebliche Tatsachen betreffen. Gleichermassen kann er Beweisanträge ohne Verletzung des rechtlichen Gehörs ablehnen, wenn er aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener antizipierter Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 5.3 S. 148 mit Hinweisen).
3.2 Die Baurekurskommission hat am 1. Dezember 2009 einen Referentenaugenschein durchgeführt und den Nussbaum von mehreren Standorten aus fotografiert. Aufgrund dieser Fotografien sowie weiterer Pläne und Fotografien waren der Vorinstanz die lokalen Verhältnisse genügend ersichtlich. Im Gegensatz zur Ansicht der Beschwerdeführer war die Vorinstanz damit insbesondere auch in der Lage, die in den von der Gemeinde in Auftrag gegebenen Gutachten vom 31. Januar 2009 und 23. März 2009 gemachten Feststellungen tatsächlicher Art zu überprüfen. Es ist nicht zu erkennen, inwiefern die Durchführung eines Augenscheins der Vorinstanz zusätzliche entscheidwesentliche Erkenntnisse hätte liefern können. Sie ist somit nicht in Willkür verfallen, wenn sie angenommen hat, angesichts der vorhandenen Akten erübrige sich die Durchführung eines Augenscheins. Darauf konnte sie demnach verzichten, ohne <ref-law> zu verletzten.
3.3 Soweit sich die Beschwerdeführer überdies auf § 60 VRG berufen, machen sie nicht geltend, das kantonale Recht gewähre einen über <ref-law> hinausgehenden Anspruch auf Durchführung eines Augenscheins. Das Bundesgericht prüft die Anwendung von § 60 VRG nur auf Willkür hin (vgl. <ref-law> i.V.m. <ref-law>). Dass die Vorinstanz die Durchführung eines Augenscheins unter den genannten Umständen nicht als erforderlich im Sinne von § 60 Satz 1 VRG erachtete, ist jedenfalls nicht willkürlich.
4. Die Beschwerdeführer bringen mehrfach vor, die Vorinstanz habe sich den Feststellungen und Schlussfolgerungen der kommunalen Behörden sowie der Baurekurskommission unkritisch angeschlossen, ohne ihren Entscheid selber zu begründen. Sie rügen indessen nicht ausdrücklich, die Vorinstanz habe ihre aus <ref-law> fliessende Begründungspflicht verletzt. Eine solche Rüge wäre denn auch nicht begründet. Die grundsätzliche Pflicht der Behörde, ihren Entscheid zu begründen, bedeutet nicht, dass sie sich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Der Bürger soll wissen, warum die Behörde entgegen seinem Antrag entschieden hat, damit er gegebenenfalls den Entscheid sachgerecht anfechten kann (<ref-ruling> E. 4.1; <ref-ruling> E. 3.1 S. 277; je mit Hinweisen). Diesen Anforderungen genügt der angefochtene Entscheid.
5. Die Beschwerdeführer rügen, die Vorinstanz habe den entscheidwesentlichen Sachverhalt in willkürlicher Weise unrichtig bzw. unvollständig ermittelt und damit <ref-law> verletzt. Unzutreffende Sachverhaltsdarstellungen im Gutachten vom 23. März 2009 habe die Vorinstanz unkritisch übernommen und dem angefochtenen Urteil unzutreffende tatsächliche Feststellungen zugrunde gelegt.
5.1 Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Von der beschwerdeführenden Person kann die Feststellung des Sachverhalts wiederum nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich (<ref-law>) ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Eine entsprechende Rüge ist substanziiert vorzubringen (<ref-law> i.V.m. <ref-law>).
5.2 Bei der Prüfung der Rüge, die Vorinstanz habe den entscheidwesentlichen Sachverhalt in willkürlicher Weise unrichtig bzw. unvollständig ermittelt, ist nur auf diejenigen Einwände einzugehen, welche auch tatsächlich den Sachverhalt betreffen. Soweit die Beschwerdeführer gleichzeitig die Qualifizierung des streitbetroffenen Nussbaums als schützenswertes Objekt des Natur- und Heimatschutzes und in diesem Zusammenhang insbesondere die von der Vorinstanz als überzeugend eingestuften Ausführungen der von der Gemeinde beauftragten Gutachter hinterfragen, ist darauf im Rahmen der Prüfung der Rechtsfrage, ob an der Unterschutzstellung des Nussbaums ein öffentliches Interesse bestehe, zurückzukommen (nachfolgend E. 6.3).
5.3 Soweit die Beschwerdeführer überhaupt in genügender Weise darlegen, inwiefern die vorinstanzliche Sachverhaltsfeststellung willkürlich sein soll, vermögen sie damit nicht durchzudringen. Dass der streitbetroffene Nussbaum von verschiedenen, teilweise auch weiter entfernten Standpunkten aus gut zu sehen ist, kann den in den Akten liegenden Fotografien entnommen werden. Insbesondere ist aus ihnen ersichtlich, dass der Baum von der W._strasse und von der Strasse "V._" aus mindestens teilweise (je nach genauem Standort) gut zu sehen ist. Die Einwände der Beschwerdeführer, der Nussbaum sei von anderen Standpunkten aus weniger gut oder gar nicht zu sehen und werde von Autofahrern und Fussgängern wegen der empfohlenen Konzentration auf die Strasse bzw. den Verkehr nur eingeschränkt wahrgenommen, lassen die vorinstanzliche Sachverhaltsfeststellung nicht als willkürlich erscheinen. Das Gleiche gilt für die Vorbringen der Beschwerdeführer, die in den Akten liegenden Fotografien seien teilweise von Privatgrundstücken aus gemacht worden, der bäuerliche Hof bestehe nicht mehr, auf dem Hof würden mit Ausnahme einiger Sportpferde keine Tiere mehr gehalten und Scheunen sowie Schöpfe seien in den vergangenen Jahren sukzessive umgenutzt worden.
5.4 Dass die vorinstanzliche Sachverhaltsfeststellung willkürlich wäre, vermögen die Beschwerdeführer schliesslich auch nicht darzutun, indem sie (sinngemäss) geltend machen, die Baurekurskommission und die Vorinstanz hätten sich bei der Überprüfung des Sachverhalts zurückgehalten und damit § 50 Abs. 1 i.V.m. § 20 Abs. 1 lit. b VRG verletzt, wonach die kantonalen Rechtsmittelbehörden die richtige Feststellung des Sachverhalts frei zu prüfen hätten. Dass sich die kantonalen Rechtsmittelinstanzen bei der Prüfung der Rechtsfrage, ob der Nussbaum im Sinne von § 203 Abs. 1 des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG; LS 700.1) schutzwürdig sei, eine gewisse Zurückhaltung auferlegt haben, ist angesichts des den zuständigen kommunalen Behörden bei der Würdigung der örtlichen Verhältnisse zustehenden Ermessensspielraums von Bundesrechts wegen nicht zu beanstanden. Dass sich die Baurekurskommission oder die Vorinstanz bei der Überprüfung der tatsächlichen Feststellungen in unzulässiger Weise Zurückhaltung auferlegt und damit Bundesrecht verletzt hätten, ist nicht ersichtlich.
6. Die Beschwerdeführer machen weiter geltend, die Unterschutzstellung des Nussbaums verletzte die Eigentumsgarantie gemäss <ref-law>.
6.1 Die Beschwerdeführer sind Gesamteigentümer des Grundstücks, auf dem sich der unter Schutz gestellte Nussbaum befindet. Die in der Unterschutzstellungsverfügung angeordneten Schutzmassnahmen bewirken eine Beschränkung ihrer Verfügungsbefugnis als Gesamteigentümer und tangieren somit die Eigentumsgarantie (<ref-law>). Eingriffe in dieses Grundrecht bedürfen einer gesetzlichen Grundlage, müssen im öffentlichen Interesse liegen und verhältnismässig sein (<ref-law>). Ob eine Eigentumsbeschränkung im öffentlichen Interesse liegt und verhältnismässig ist, prüft das Bundesgericht frei. Es auferlegt sich aber Zurückhaltung, soweit die Beurteilung von der Würdigung der örtlichen Verhältnisse abhängt, welche die kantonalen Behörden besser kennen. Dies gilt auch auf dem Gebiet des Natur- und Heimatschutzes (<ref-ruling> E. 6.1 S. 181 f. mit Hinweisen).
6.2 Die kantonalen Behörden stützten sich für die Unterschutzstellung auf § 203 ff. PBG. § 203 Abs. 1 PBG regelt, welche Objekte im Hinblick auf die kantonalen Bestimmungen des Natur- und Heimatschutzes als schutzwürdig gelten. Schutzobjekte sind unter anderem Ortskerne, Quartiere, Strassen und Plätze, Gebäudegruppen, Gebäude und Teile sowie Zugehör von solchen, die als wichtige Zeugen einer politischen, wirtschaftlichen, sozialen oder baukünstlerischen Epoche erhaltenswürdig sind oder die Landschaften oder Siedlungen wesentlich mitprägen, samt der für ihre Wirkung wesentlichen Umgebung (§ 203 Abs. 1 lit. c PBG) sowie wertvolle Park- und Gartenanlagen, Bäume, Baumbestände, Feldgehölze und Hecken (§ 203 Abs. 1 lit. f PBG). Die Vorinstanz kam im angefochtenen Entscheid zum Schluss, der streitbetroffene Nussbaum sei im Sinne von § 203 Abs. 1 PBG im Interesse des Ortsbilds schutzwürdig, weil er aufgrund seines Standorts und seiner Erscheinung in markanter Weise einen dominierenden, aussergewöhnlichen Akzent setze und damit das Quartier- bzw. Strassenbild wesentlich mitpräge. Die Beschwerdeführer sind der Ansicht, der Nussbaum sei kein zulässiges Schutzobjekt im Sinne von § 203 Abs. 1 PBG, womit es an einer genügenden gesetzlichen Grundlage für die Unterschutzstellung fehle.
Das Bundesgericht überprüft die Anwendung und Auslegung von § 203 Abs. 1 PBG als Bestimmung des kantonalen Rechts nur auf Willkür und eine entsprechende, genügend begründete Rüge hin (vgl. Art. 95 i.V.m. <ref-law>). Daran ändert im Gegensatz zur Ansicht der Beschwerdeführer auch der Umstand nichts, dass diese Bestimmung von den kantonalen Behörden als gesetzliche Grundlage für die umstrittene Eigentumsbeschränkung herangezogen worden ist. Die Beschwerdeführer rügen und begründen nicht in genügender Weise, inwiefern die Vorinstanz § 203 Abs. 1 PBG geradezu willkürlich ausgelegt bzw. angewendet haben sollte. Damit sind sie mit ihrer Rüge, es fehle an einer genügenden gesetzlichen Grundlage für die Eigentumsbeschränkung, nicht zu hören. Weil sie indessen gleichzeitig geltend machen, für die von ihnen gerügte Verletzung der Eigentumsgarantie bestehe kein öffentliches Interesse, werden ihre Ausführungen zur Schutzwürdigkeit des streitbetroffenen Nussbaums in diesem Zusammenhang zu berücksichtigen sein (nachfolgend E. 6.3).
6.3 Eigentumsbeschränkungen zur Erhaltung von schutzwürdigen Objekten des Natur- und Heimatschutzes liegen im öffentlichen Interesse. Zu prüfen ist, ob die kommunalen und kantonalen Behörden den streitbetroffenen Nussbaum als schutzwürdig einstufen durften.
6.3.1 Die Beschwerdeführer bringen in diesem Zusammenhang vor, die Vorinstanz habe aus dem von der Gemeinde in Auftrag gegebenen Fachgutachten vom 23. März 2009 unzutreffende Einschätzungen unkritisch übernommen.
Fachgutachten unterliegen als Beweismittel der freien richterlichen Prüfung. In Fachfragen darf der Richter nicht ohne triftige Gründe vom Gutachten abweichen und muss allfällige Abweichungen begründen. Ein Abweichen ist zulässig, wenn die Glaubwürdigkeit des Gutachtens durch die Umstände ernsthaft erschüttert ist (<ref-ruling> E. 4.4.1 S. 269). Das Abstellen auf nicht schlüssige Gutachten kann gegen <ref-law> verstossen, so wenn gewichtige, zuverlässig begründete Tatsachen oder Indizien die Überzeugungskraft des Gutachtens ernstlich erschüttern (<ref-ruling> E. 2 S. 86 mit Hinweisen). Bestehen Zweifel an der Richtigkeit des Gutachtens und werden dennoch keine ergänzenden Abklärungen vorgenommen, kann sich das als rechtswidrig erweisen (<ref-ruling> E. 4.4.1 S. 269 mit Hinweis).
Die Ausführungen zur Schutzwürdigkeit des streitbetroffenen Nussbaums im Fachgutachten vom 23. März 2009 sind schlüssig. Gewichtige, zuverlässig begründete Tatsachen oder Indizien, welche seine Überzeugungskraft ernstlich erschüttern würden, sind nicht ersichtlich. Daran ändert auch der Einwand der Beschwerdeführer nichts, die Verfasserin des Gutachtens betreibe ein Büro für Architektur, Bauforschung und Kunstgeschichte und berate verschiedene Gemeinden in Fragen des Denkmalschutzes, wohingegen sie nicht primär Fachperson für die Beurteilung der Schutzwürdigkeit von Bäumen sei. Dass sich die Vorinstanz für die Beurteilung der Frage, ob der Nussbaum schutzwürdig sei, unter anderem auf die nachvollziehbaren Ausführungen im Fachgutachten vom 23. März 2009 gestützt hat, ist nicht zu beanstanden.
6.3.2 Die Vorinstanz kam im angefochtenen Urteil zum Schluss, der Nussbaum sei schutzwürdig, weil er aufgrund seines Standorts und seiner Erscheinung in markanter Weise einen dominierenden aussergewöhnlichen Akzent setze und damit das Quartier- bzw. Strassenbild wesentlich mitpräge. Was die Beschwerdeführer gegen die Qualifikation des Nussbaums als Schutzobjekt ausführten, vermöge die gutachterlichen Feststellungen sowie die Würdigung durch die Vorinstanzen nicht ernsthaft in Zweifel zu ziehen. Aufgrund der bei den Akten liegenden Gutachten sowie der auf einem fotografisch dokumentierten Augenschein beruhenden Einschätzung der Baurekurskommission bestehe keine Veranlassung, an der markanten Erscheinung des Nussbaums zu zweifeln. Die Vorinstanz gab im angefochtenen Entscheid verschiedene in den Gutachten gemachten Aussagen wieder und bezeichnete sie als überzeugend. Namentlich teilte sie die Einschätzung, wonach der Nussbaum ein prägendes Element im Ortsbild darstelle, er zusammen mit der Scheune und der Wagenremise für den Charakter des bestehenden Hofraums bedeutsam sei und ihm eine wahrzeichenhafte Funktion für die historische Siedlung zukomme. Weiter teilte die Vorinstanz die Auffassung, wonach der Nussbaum als prägender, alter und charaktervoller Baum von verschiedenen Standpunkten aus einen imposanten, wohltuenden Anblick biete und als traditioneller Hofbaum unabdingbar zum heute noch gut erhaltenen historischen Siedlungskern gehöre.
Damit hat die Vorinstanz nachvollziehbar dargetan, weshalb der streitbetroffene Nussbaum schutzwürdig ist. Was die Beschwerdeführer dagegen vorbringen, vermag - soweit es sich bei ihren Ausführungen nicht um rein appellatorische Kritik am angefochtenen Entscheid und damit ungenügend begründete Vorbringen (vgl. <ref-law>) handelt - nicht zu überzeugen. Zu Recht bestreiten die Beschwerdeführer nicht, dass der Nussbaum für den historischen Siedlungskern von Bedeutung ist. Soweit sie dennoch geltend machen, der Baum sei für das Ortsbild nicht prägend und damit nicht schutzwürdig, sind ihre Ausführungen widersprüchlich und nicht nachvollziehbar. Unbehelflich ist auch der Einwand, es mache keinen Sinn, nur den Nussbaum zu schützen, während die Gebäude in der näheren Umgebung, welche zusammen mit dem Baum den Hofraum begrenzten, abgebrochen werden dürften. Richtig ist, dass ein verwaltungsrechtlicher Vertrag vom 14. November 2005 zwischen den Beschwerdeführern und der Gemeinde Küsnacht über den denkmalpflegerischen Schutz des Wohnhauses "V._" Neu- bzw. Ersatzbauten im Bereich der Remise und der Scheune nicht ausschliesst. Der Vertrag hält aber fest, dass solche Neubauten die Wiederherstellung der heute vorhandenen charakteristischen Hofraumsituation zum Wohngebäude gewährleisten müssten. Im Hinblick auf die vereinbarte Erhaltung der charakteristischen Hofraumsituation auch im Falle des Abbruchs bestehender Gebäude bzw. der Errichtung von Neubauten macht es durchaus Sinn, den Nussbaum, der zusammen mit den bestehenden Gebäuden für den Charakter des Hofraums bedeutsam ist, unter Schutz zu stellen.
6.3.3 Die Vorinstanz durfte somit davon ausgehen, für die Unterschutzstellung des Nussbaums bestehe ein öffentliches Interesse. Daran ändert auch der Umstand nichts, dass schützenswerte Objekte nach kantonalem Recht nicht nur per Verfügung sondern auch mittels planerischer Massnahmen, Verordnung oder verwaltungsrechtlichen Vertrags geschützt werden können (vgl. § 205 PBG).
6.4 Die Unterschutzstellung von schutzwürdigen Objekten muss nach dem Grundsatz der Verhältnismässigkeit für das Erreichen des im öffentlichen Interesse liegenden Ziels geeignet, notwendig und dem Betroffenen zumutbar sein. Ein durch Schutzmassnahmen verursachter Grundrechtseingriff ist namentlich dann unverhältnismässig, wenn eine ebenso geeignete mildere Anordnung für den angestrebten Erfolg ausreicht. Ob eine aus Gründen des Natur- und Heimatschutzes erfolgende Nutzungsbeschränkung das dem Eigentümer zumutbare Mass überschreitet, ist einzelfallweise aufgrund der gesamten Umstände zu beurteilen. Dabei sind Rentabilitätsüberlegungen umso geringer zu gewichten, je schutzwürdiger ein Objekt ist (<ref-ruling> E. 2c S. 222). Allerdings können rein finanzielle Interessen bei ausgewiesener Schutzwürdigkeit für sich genommen nicht ausschlaggebend sein (vgl. Urteile 1C_553/2010 und 1C_555/2010 vom 23. Februar 2011 jeweils E. 2.4; mit Hinweis).
6.4.1 Die Unterschutzstellung des Nussbaums ist geeignet, ihn zu erhalten. Eine zu seiner Erhaltung ebenso geeignete, für die Beschwerdeführer weniger einschneidende Anordnung ist nicht ersichtlich. Die Beschwerdeführer machen in diesem Zusammenhang zwar geltend, der Nussbaum und das Ortsbild seien nach kantonalem und kommunalem Recht bereits ausreichend geschützt, weil in der Kernzone der Charakter des Quartiers zu erhalten sei, im Rahmen von Bauvorhaben unter Umständen auch auf nicht nach § 203 ff. PBG unter Schutz gestellte Bäume Rücksicht genommen werden müsse und nach § 238 Abs. 3 PBG - wo die Verhältnisse es zulassen - mit der baurechtlichen Bewilligung verlangt werden könne, dass vorhandene Bäume bestehen bleiben oder neue Bäume und Sträucher gepflanzt werden. Wie die Vorinstanz zu Recht ausgeführt hat, reicht dies indessen nicht aus, den schutzwürdigen Nussbaum - unabhängig von allfälligen Bauvorhaben - in seiner Substanz zu erhalten.
6.4.2 Zu prüfen bleibt, ob die Einschränkung in die Eigentumsrechte der Beschwerdeführer angesichts ihrer Schwere zumutbar ist, nämlich ob mit der Unterschutzstellung des Nussbaums ein vernünftiges Verhältnis zwischen dem angestrebten Ziel und dem Eingriff, den sie für die Beschwerdeführer bewirkt, gewahrt wird. Hierfür ist eine Abwägung vorzunehmen, welche das öffentliche Interesse am Erhalt des schutzwürdigen Baums und die durch den Eingriff beeinträchtigten privaten Interessen der Beschwerdeführer miteinander vergleicht.
Nicht zu beanstanden ist, dass die Vorinstanz das öffentliche Interesse an der Unterschutzstellung des Nussbaums als gross einstufte. Unbehelflich ist der Einwand der Beschwerdeführer, das öffentliche Interesse am Erhalt des Nussbaums sei weniger gross als von der Vorinstanz angenommen, weil er aufgrund der künftigen baulichen Entwicklung seine Bedeutung einbüssen werde. Der Vorinstanz ist nämlich darin zuzustimmen, dass die Schutzwürdigkeit des Nussbaums nicht deshalb als geringer einzuschätzen ist, weil diese unter Umständen durch künftige bauliche Veränderungen beeinträchtigt werden könnte. Dies gilt jedenfalls dann, wenn - wie vorliegend - nicht dargetan ist, dass bereits bewilligte oder zumindest konkret geplante Bauprojekte etwas an der Schutzwürdigkeit verändern würden.
Dem grossen öffentlichen Interesse an der Erhaltung des Nussbaums ist gegenüberzustellen, dass die Schutzanordnung die künftigen Überbauungsmöglichkeiten der Beschwerdeführer auf dem Grundstück Kat.-Nr. 12130 weiter einschränkt, nachdem bereits früher ein Teil des Grundstücks in eine Freihaltezone umgezont, das Wohnhaus "V._" mit verwaltungsrechtlichem Vertrag unter Schutz gestellt und für denjenigen Grundstücksteil, welcher der 2-geschossigen Wohnzone zugeteilt ist, die maximal zulässige bauliche Ausnützung beschränkt worden ist. Allerdings verbleiben den Beschwerdeführern nach der Unterschutzstellung des Nussbaums auch unter Berücksichtigung der genannten früheren Einschränkungen umfangreiche Möglichkeiten zur Überbauung ihres Grundstücks. Zu Recht hat die Vorinstanz berücksichtigt, dass mit der Unterschutzstellung des Nussbaums die Möglichkeit der baulichen Nutzung auf dem ca. 4'940 m2 grossen Grundstücksteil, welcher der 2-geschossigen Wohnzone zugeteilt ist, nicht weiter eingeschränkt wird. Darüber hinaus verunmöglicht die Unterschutzstellung des Nussbaums eine künftige bauliche Nutzung im der Kernzone zugewiesenen ca. 2'200 m2 grossen Grundstücksteil keineswegs generell. Vielmehr verbleiben den Beschwerdeführern im Rahmen der Zonenvorschriften und unter Berücksichtigung des verwaltungsrechtlichen Vertrags über die Unterschutzstellung des Wohnhauses "V._" auch für diesen Grundstücksteil sinnvolle bauliche Nutzungsmöglichkeiten. Insbesondere schliesst die Unterschutzstellung des Nussbaums nicht aus, dass im Bereich der heutigen Scheune und der Wagenremise neue Bauten errichtet werden werden können. Richtig ist, dass die Unterschutzstellung des Nussbaums die mögliche Grösse und die genaue Lage eines allfälligen Neubaus im Bereich der Remise beeinflussen dürfte. Dass - wie die Beschwerdeführer vorbringen - die Hofraumlücke, welche der geplante Abbruch der Remise verursachen wird, nur mit einem Neubau im Bereich des Nussbaums geschlossen werden kann, ist hingegen nicht nachvollziehbar, selbst wenn ein bestehender Anbau des Hauses "V._", wie offenbar bereits bewilligt, vergrössert wird. Nicht besonders stark ins Gewicht fällt schliesslich, dass der Nussbaum allfälligen Neubauten bzw. den bestehenden Bauten teilweise Aussicht und Sonnenlicht entziehen mag.
Unter diesen Umständen durfte die Vorinstanz in einer Abwägung der entgegenstehenden Interessen zum Schluss kommen, das öffentliche Interesse an der Erhaltung des schutzwürdigen Nussbaums überwiege die privaten Interessen der Beschwerdeführer, auch wenn damit eine Werteinbusse des in der Kernzone gelegenen Grundstückteils verbunden sein dürfte. Damit erweist sich die Rüge, die Unterschutzstellung des Nussbaums habe einen unrechtmässigen Eingriff in die Eigentumsgarantie zur Folge, als unbegründet.
7. Die Beschwerdeführer machen weiter geltend, die kommunalen Behörden hätten nicht nach Treu und Glauben gehandelt (vgl. <ref-law>) und der angefochtene Entscheid verletze <ref-law>, wonach sie Anspruch darauf hätten, von den staatlichen Organen nach Treu und Glauben behandelt zu werden.
7.1 Der in <ref-law> verankerte Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden. Vorausgesetzt ist, dass die Person, die sich auf Vertrauensschutz beruft, berechtigterweise auf diese Grundlage vertrauen durfte und gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann. Schliesslich scheitert die Berufung auf Treu und Glauben dann, wenn ihr überwiegende öffentliche Interessen gegenüberstehen (<ref-ruling> E. 6.1 mit Hinweisen).
7.1 Der in <ref-law> verankerte Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden. Vorausgesetzt ist, dass die Person, die sich auf Vertrauensschutz beruft, berechtigterweise auf diese Grundlage vertrauen durfte und gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann. Schliesslich scheitert die Berufung auf Treu und Glauben dann, wenn ihr überwiegende öffentliche Interessen gegenüberstehen (<ref-ruling> E. 6.1 mit Hinweisen).
7.2 7.2.1 Die Beschwerdeführer bringen diesbezüglich zunächst vor, die Baukommission habe mit behördenverbindlichem Vorentscheid vom 10. September 2002 grundsätzlich zugestimmt, dass zwei im eingereichten Katasterplan bezeichnete Perimeter im Bereich der Scheune und westlich der Remise überbaut werden könnten. Der streitbetroffene Nussbaum rage zu einem grossen Teil in den bezeichneten Perimeter westlich der Remise hinein. Mit dem Vorentscheid sei mindestens sinngemäss eine Beseitigung des Nussbaums gestattet worden. Die Baukommission habe nämlich darauf hingewiesen, dass die Hofbildung mit allfällig neuen Bauten erhalten bleiben müsse und positiv gewürdigt, dass die beiden Baubereiche gegen das Dörfli hin auf einer Linie lägen und der nördliche Perimeter (westlich der Remise) richtigerweise die südöstliche Flucht der Häuserzeile "V._" übernehme. Dies könne nur so interpretiert werden, dass ein Neubau im Bereich des nördlichen Perimeters die Gebäudeflucht der Häuserzeile "V._" übernehme, was den Erhalt des Nussbaums verunmögliche. Im Bestreben, die Errichtung eines Ersatzbaus für die Remise zu erleichtern, sei an einer Gemeindeversammlung am 12. Januar 2004 die Bau- und Zonenordnung revidiert worden.
7.2.2 Wie die Vorinstanz zu Recht ausgeführt hat, durften die Beschwerdeführer gestützt auf den Beschluss der Baukommission vom 10. September 2002 nicht berechtigterweise darauf vertrauen, dass der Nussbaum für ein Bauprojekt im Bereich des nördlichen Perimeters beseitigt werden kann. Dies weil die Baukommission ausdrücklich erwog, dass über die Grösse und Einpassung von allfälligen Bauten nichts ausgesagt werden könne und bei der Planung die im Ortsbildinventar aufgeführten Festlegungen wie Einzelbäume, wichtige Freiräume sowie Vorgartengebiete und Vorplätze zu beachten seien. Im Gegensatz zur Ansicht der Beschwerdeführer nahm die Baukommission im Dispositiv auf diese Erwägungen Bezug, indem sie entschied, dem Konzept für Abbruch und Neubauten in den umschriebenen Perimeterbereichen könne im Sinne der Erwägungen grundsätzlich zugestimmt werden (Dispositiv-Ziffer 6). Damit durften die Beschwerdeführer nicht berechtigterweise darauf vertrauen, es sei mit dem Beschluss der Baukommission die Beseitigung des Nussbaums gestattet worden. Daran ändert auch der Umstand nichts, dass in der Folge offenbar die Bau- und Zonenordnung revidiert worden ist, um die Errichtung eines Ersatzbaus für die Remise zu erleichtern.
7.2.3 Im Übrigen ist auch unklar, inwiefern die Beschwerdeführer gestützt auf den Vorentscheid der Baukommission und die Revision der Bau- und Zonenordnung nachteilige Dispositionen getroffen haben sollten, die sie nicht mehr rückgängig machen können. Ein Vorentscheidgesuch für eine neue Baute anstelle der Remise haben sie erst am 26. September 2011 eingereicht. Zu diesem Zeitpunkt taugten die Beschlüsse der Baukommission vom 10. September 2002 und der Gemeindeversammlung vom 12. Januar 2004 schon deshalb nicht als Vertrauensgrundlage, weil der Gemeinderat als zuständige Behörde den Nussbaum in der Zwischenzeit per Verfügung unter Schutz gestellt hat und überdies die Gültigkeit des Beschlusses der Baukommission gemäss kantonalem Recht (§ 324 Abs. 1 i.V.m. Art. 322 Abs. 1 PBG) abgelaufen war. Soweit die Beschwerdeführer in diesem Zusammenhang sodann auf das Baugesuch über die Vergrösserung eines bestehenden Anbaus des Hauses "V._" hinweisen, ist nicht dargetan, inwiefern die Ausarbeitung dieses Bauprojekts mit für sie nachteiligen Dispositionen verbunden gewesen sein sollte, zumal das Gesuch offenbar bewilligt worden ist.
7.2.3 Im Übrigen ist auch unklar, inwiefern die Beschwerdeführer gestützt auf den Vorentscheid der Baukommission und die Revision der Bau- und Zonenordnung nachteilige Dispositionen getroffen haben sollten, die sie nicht mehr rückgängig machen können. Ein Vorentscheidgesuch für eine neue Baute anstelle der Remise haben sie erst am 26. September 2011 eingereicht. Zu diesem Zeitpunkt taugten die Beschlüsse der Baukommission vom 10. September 2002 und der Gemeindeversammlung vom 12. Januar 2004 schon deshalb nicht als Vertrauensgrundlage, weil der Gemeinderat als zuständige Behörde den Nussbaum in der Zwischenzeit per Verfügung unter Schutz gestellt hat und überdies die Gültigkeit des Beschlusses der Baukommission gemäss kantonalem Recht (§ 324 Abs. 1 i.V.m. Art. 322 Abs. 1 PBG) abgelaufen war. Soweit die Beschwerdeführer in diesem Zusammenhang sodann auf das Baugesuch über die Vergrösserung eines bestehenden Anbaus des Hauses "V._" hinweisen, ist nicht dargetan, inwiefern die Ausarbeitung dieses Bauprojekts mit für sie nachteiligen Dispositionen verbunden gewesen sein sollte, zumal das Gesuch offenbar bewilligt worden ist.
7.3 7.3.1 Weiter bringen die Beschwerdeführer in diesem Zusammenhang vor, die Unterzeichnung und Genehmigung des verwaltungsrechtlichen Vertrags vom 14. November 2005 über den Schutz des Wohnhauses "V._" durch den Gemeinderat habe in ihnen das berechtigte Vertrauen erweckt, dass der streitbetroffene Nussbaum einem geplanten Neubau weichen dürfe. Sie begründen dies damit, dass der Nussbaum gemäss den dem Vertrag beigelegten Plänen in einem Bereich stehe, der in den Plänen als Perimeterbereich für einen Neubau bezeichnet sei. Der Gemeinderat habe in seinem Genehmigungsbeschluss ebenfalls auf diese Pläne hingewiesen. Damit seien diese Vertragsbestandteil gewesen. Demzufolge enthalte der Vertrag einen definitiven Verzicht auf Anordnungen zum Schutz des Nussbaums. Indem der Gemeinderat den Baum mit Beschluss vom 15. Juli 2009 unter Schutz gestellt habe, habe er unzulässigerweise den genannten verwaltungsrechtlichen Vertrag widerrufen.
7.3.2 Wie die Vorinstanz nachvollziehbar begründet hat, bildete die Frage, ob der Nussbaum zu schützen sei oder einem allfälligen Neubau weichen dürfe, nicht Bestandteil des verwaltungsrechtlichen Vertrags zwischen der Gemeinde und den Beschwerdeführern. Dass der Nussbaum in einem von den Beschwerdeführern nicht unterzeichneten Vertragsentwurf noch als Schutzobjekt bezeichnet, die entsprechende Passage in der Folge jedoch aus dem Vertragstext gestrichen worden ist, spricht dafür, dass sich die Parteien über die Unterschutzstellung des Baums nicht einigen konnten und wollten. Eine verbindliche Zustimmung der Behörden, dass der Baum nicht zu schützen sei und einem allfälligen Neubau weichen dürfe, kann in der Streichung der entsprechenden Passage jedenfalls nicht erblickt werden.
Was die dem Vertrag beiliegenden Pläne angeht ist der Vorinstanz darin zuzustimmen, dass diese nur insoweit Bestandteil der Vereinbarung bilden können, als auf sie im Vertragstext ausdrücklich Bezug genommen wird. Die dem Vertrag beigelegten Pläne betrafen ein Vorprojekt zu baulichen Massnahmen betreffend Wohngebäude "V._" inklusive zu einem neuen Anbau bzw. zur Vergrösserung eines bestehenden Anbaus. Auf dieses Vorhaben wird im Vertragstext denn auch ausdrücklich Bezug genommen, indem der neue Anbau im Sinne des Vorprojekts als zulässig bezeichnet wird. Richtig ist zwar, dass in den genannten Plänen auch Perimeterbereiche für Neubauten im Bereich der Scheune und der Remise ersichtlich sind und der Nussbaum innerhalb eines solchen Bereichs steht. Im Vertragstext werden diese Perimeter und der Nussbaum allerdings nicht erwähnt. Die Vertragsparteien haben insbesondere nicht festgehalten, dass innerhalb von bestimmten Perimetern Neubauten zulässig sein sollen oder der Nussbaum für einen Neubau beseitigt werden darf. Vereinbart worden ist lediglich, dass allfällige Neubauten im Bereich der Remise und der Scheune die Wiederherstellung der heute vorhandenen charakteristischen Hofraumsituation zum Hauptgebäude zu gewährleisten haben.
7.3.3 Im Gegensatz zur Ansicht der Beschwerdeführer hat die Gemeinde mit der Unterzeichnung des verwaltungsrechtlichen Vertrags vom 14. November 2005 somit nicht definitiv auf Anordnungen zum Schutz des Nussbaums verzichtet. Da die Frage, ob der Nussbaum zu schützen sei oder einem allfälligen Neubau weichen dürfe, nicht Bestandteil des Vertrags zwischen der Gemeinde und den Beschwerdeführern bildete, hat der Gemeinderat nicht wider Treu und Glauben gehandelt, wenn er den Nussbaum mit Beschluss vom 15. Juli 2009 unter Schutz gestellt hat. Unter diesen Umständen ist in der Unterschutzstellung des Nussbaums entgegen der Ansicht der Beschwerdeführer auch kein Widerruf des verwaltungsrechtlichen Vertrags zu erblicken.
7.4 Damit erweist sich auch die Rüge der Beschwerdeführer, der angefochtene Entscheid verletze ihren Anspruch, von den Behörden nach Treu und Glauben behandelt zu werden, als unbegründet.
8. Die Beschwerde richtet sich nicht nur gegen die Unterschutzstellung des Nussbaums durch den Gemeinderat, sondern überdies gegen die Abweisung des Gesuchs der Beschwerdeführer um Entlassung des Nussbaums aus dem kommunalen Ortsbildinventar. Wie aus der Beschwerdebegründung zu schliessen ist, beantragen die Beschwerdeführer nicht nur die Aufhebung des entsprechenden Beschlusses der Baukommission vom 25. November 2008, sondern (sinngemäss) auch, der Nussbaum sei aus dem kommunalen Ortsbildinventar zu entlassen.
Die Beschwerdeführer legen allerdings nicht dar und es ist nicht ersichtlich, inwiefern sie (noch) ein schutzwürdiges Interesse im Sinne von <ref-law> an der Entlassung des Nussbaums aus dem kommunalen Ortsbildinventar haben sollten, nachdem er vom Gemeinderat per Verfügung berechtigterweise unter Schutz gestellt worden ist. Auf die Anträge, der Entscheid der Baukommission vom 25. November 2008 sei aufzuheben und der Nussbaum aus dem kommunalen Ortsbildinventar zu entlassen, ist somit nicht einzutreten.
9. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (vgl. <ref-law>). Die Gemeinde Küsnacht bzw. die am Verfahren beteiligten Gemeindebehörden haben keinen Anspruch auf eine Parteientschädigung, da sie in ihrem amtlichen Wirkungskreis obsiegen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Baukommission Küsnacht, dem Gemeinderat Küsnacht und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 2. November 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Mattle