Sachverhalt:
A. Der Gemeinderat Herznach bewilligte am 21. November 2002 das von X._ und Y._ am 15. Oktober 2002 eingereichte Baugesuch für einen Pferdestall auf der Parzelle Nr. 27 in der Gemeinde Herznach. X._ und Y._ realisierten dieses Projekt nicht und reichten ein überarbeitetes Baugesuch ein, welches der Gemeinderat Herznach mit Protokollauszug vom 16. Dezember 2004 bewilligte. Mit Verfügung vom 15. Dezember 2005 bewilligte der Gemeinderat ein weiteres, nochmals überarbeitetes Baugesuch für einen Pferdestall auf der Parzelle Nr. 27.
B. Nachdem X._ und Y._ das Bauvorhaben entsprechend der Baubewilligung vom 15. Dezember 2005 realisiert hatten, stellte der Gemeinderat Herznach fest, dass ein Teil des Pferdestalls in der Landwirtschaftszone liegt. Mit Beschluss vom 8. Mai 2007 überwies er deshalb die Akten an das Departement Bau, Verkehr und Umwelt des Kantons Aargau, Abteilung für Baubewilligungen, zur Stellungnahme. Am 4. Juni 2007 wies dieses das Baugesuch ab. In Ziffer 2 verfügte das Departement Bau, Verkehr und Umwelt den Aufschub der Beseitigung bis Ende 2009. Mit Beschluss vom 14. Juni 2007 eröffnete der Gemeinderat Herznach X._ und Y._ diesen Entscheid.
Gegen diesen Beschluss erhoben X._ und Y._ beim Regierungsrat des Kantons Aargau Beschwerde. Der Regierungsrat entschied am 17. September 2008, dass die Beschwerde abgewiesen werde. Ziffer 2 der Verfügung des Departements Bau, Verkehr und Umwelt werde aufgehoben und wie folgt neu formuliert:
"2. Falls eine (teilweise) Einzonung der Parzelle Nr. 27 in der eingeleiteten Gesamtrevision nicht zustande kommt, ist der Pferdestall innert einer Frist von 3 Monaten ab Rechtskraft der Nichteinzonung in den rechtmässigen Zustand zu überführen respektive (teilweise) abzubrechen. Die Frist zur Wiederherstellung des gesetzmässigen Zustands beginnt ebenfalls zu laufen, wenn der Gemeinderat den Entscheid fällt, die eingeleitete Gesamtrevision nicht weiter zu verfolgen."
Hierauf gelangten X._ und Y._ an das Verwaltungsgericht des Kantons Aargau, welches in teilweiser Gutheissung der Beschwerde den Entscheid des Regierungsrates im Kostenpunkt aufhob und die Kosten des Verfahrens vor dem Regierungsrat neu verteilte. Im Übrigen wies das Verwaltungsgericht die Beschwerde ab, soweit es darauf eintrat.
C. Mit Eingabe vom 14. September 2009 erheben X._ und Y._ Beschwerde beim Bundesgericht. Sie stellen den Antrag, das Urteil des Verwaltungsgerichts vom 17. Juni 2009 sei aufzuheben. Auf die Beseitigung des in die Landwirtschaftszone ragenden Teils des Pferdestalls sei zu verzichten. Eventualiter sei festzustellen, dass die Beschwerdeführer bei der Erstellung der Baute gutgläubig gehandelt hätten und die Voraussetzungen für den Schutz des Vertrauens erfüllt seien. Ungeachtet des Ausgangs dieses Verfahrens seien die Kosten dieses Verfahrens und die Prozesskosten der vorinstanzlichen Verfahren der Vorinstanz aufzuerlegen.
D. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen. Die Gemeinde Herznach verzichtet auf eine ergänzende Stellungnahme und verweist auf die Vorakten. Das Departement Bau, Verkehr und Umwelt des Kantons Aargau liess sich nicht vernehmen. Das Bundesamt für Raumentwicklung führt aus, die Beschwerde werfe aus Sicht des Bundesamtes keine grundsätzlichen planerischen oder planungsrechtlichen Fragen auf, welche eine Stellungnahme als notwendig erscheinen liessen.
In ihrer Replik halten die Beschwerdeführer an ihren Anträgen fest.

Erwägungen:
1. 1.1 Gegen den kantonal letztinstanzlichen Entscheid steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>). Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung; das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund (vgl. <ref-ruling> E. 1.2 S. 251; 409 E. 1.1 S. 411). Gemäss Art. 34 Abs. 1 des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (Raumplanungsgesetz, RPG; SR 700) gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege.
Die Beschwerdeführer fechten die von der Vorinstanz geschützte Wiederherstellungsverfügung an. Dazu sind sie als Eigentümer der betroffenen Liegenschaft legitimiert (<ref-law>). Die Beschwerde wurde rechtzeitig erhoben (<ref-law>). Insoweit sind die Eintretensvoraussetzungen erfüllt.
1.2 Die Beschwerdeführer beantragen die Durchführung eines bundesgerichtlichen Augenscheins. Der Antrag ist abzulehnen. Aus den Akten, insbesondere den darin enthaltenen Fotos und den Plänen, ergibt sich der Sachverhalt mit hinreichender Klarheit.
2. 2.1 Nach Art. 22 Abs. 1 und Art. 24 RPG dürfen Bauten und Anlagen inner- und ausserhalb der Bauzonen nur mit behördlicher Bewilligung errichtet werden. Voraussetzung einer ordentlichen Baubewilligung nach Art. 22 Abs. 2 RPG ist, dass die Bauten und Anlagen dem Zweck der Nutzungszone entsprechen (lit. a) und das Land erschlossen ist (lit. b).
2.2 Das Grundstück GB Nr. 27 der Beschwerdeführer ist im Umfang von 991 m2 der Bauzone zugeteilt. Die restliche Parzellenfläche im Umfang von 4'549 m2 liegt in der Landwirtschaftszone. Es ist unbestritten, dass ein Teil des Pferdestalls (ca. 30 m2) der Beschwerdeführer in der Landwirtschaftszone liegt. Die Beschwerdeführer bestreiten auch nicht, dass die fragliche Stallung der Hobbytierhaltung dient. Gemäss <ref-law> gelten Bauten und Anlagen für die Freizeitlandwirtschaft nicht als zonenkonform. Dies gilt insbesondere auch für die hobbymässige Pferdehaltung von Nichtlandwirten (<ref-ruling> E. 3b S. 163 f.; Urteil 1A.26/2003 vom 22. April 2003 E. 5; 1C_24/2008 vom 17. Februar 2009 E. 4.1; 1C_122/2009 vom 21. Januar 2010 E. 3). Folglich trifft der Standpunkt des Verwaltungsgerichts zu, dass eine ordentliche Baubewilligung nach Art. 22 Abs. 2 RPG nicht in Frage kommt.
Gemäss Art. 25 Abs. 2 RPG entscheidet die zuständige kantonale Behörde bei allen Bauvorhaben ausserhalb der Bauzonen, ob sie zonenkonform sind oder ob für sie eine Ausnahmebewilligung erteilt werden kann. Nach § 63 lit. e des Gesetzes über die Raumplanung, Umweltschutz und Bauwesen des Kantons Aargau vom 19. Januar 1993 (BauG) hat der Gemeinderat Gesuche betreffend Bauten ausserhalb von Bauzonen vor seinem Entscheid dem zuständigen kantonalen Departement vorzulegen und darf sie nur mit dessen Zustimmung bewilligen. Wie die Vorinstanz zu Recht erwogen hat, ist diese Zustimmung der kantonalen Behörde ein unentbehrliches, konstitutiv wirkendes Element der kommunalen Bewilligung. Die ohne Zustimmung der hierfür zuständigen kantonalen Bewilligungsbehörde gewährte Baubewilligung ist daher als nichtig zu qualifizieren (<ref-ruling> E. 6 S. 221 ff.), zumal die kantonale Behörde keinerlei Kenntnis vom Baugesuch hatte (<ref-ruling> E. 3.2.2 S. 28) und die Erteilung einer nachträglichen Bewilligung, wie nachfolgend (E. 2.3) zu zeigen sein wird, ausser Betracht fällt. Entgegen der Auffassung der Beschwerdeführer ändert der Umstand, dass im vorliegenden Fall im Gegensatz zum erwähnten <ref-ruling> nicht die gesamte Baute ausserhalb der Bauzone zu liegen kommt sondern nur etwa 1/5, nichts an dieser Beurteilung. Würde bei Bauvorhaben, die sich sowohl auf die Bauzone als auch auf die Landwirtschaftszone erstrecken, auf die in Art. 25 Abs. 2 RPG verlangte kantonale Bewilligungserfordernis verzichtet, wäre die vom Bundesgesetzgeber bei der Bewilligung von Bauvorhaben ausserhalb der Bauzone geforderte einheitliche Rechtsanwendung auf dem gesamten Kantonsgebiet nicht mehr gewährleistet (<ref-ruling> E. 3.3.1 S. 257).
2.3 Eine Ausnahmebewilligung nach Art. 24 RPG kann erteilt werden, wenn der Zweck der Baute einen Standort ausserhalb der Bauzone erfordert (lit. a) und wenn dem Vorhaben keine überwiegenden Interessen entgegenstehen (lit. b). Nach der Rechtsprechung des Bundesgerichts ist die hobbymässige Pferdehaltung nicht standortgebunden im Sinne von Art. 24 lit. a RPG (Urteil 1A.26/2003 vom 22. April 2003 E. 5; 1A.84/2006 vom 26. Januar 2007 E. 2.2; vgl. auch Bundesamt für Raumentwicklung, Wegleitung "Pferd und Raumplanung", Ziff. 3 S. 16 ff.). Demnach ist nicht zu beanstanden, dass die Vorinstanz die Voraussetzungen zur Erteilung einer Ausnahmebewilligung nach Art. 24 RPG als nicht erfüllt betrachtet. Der im angefochtenen Urteil gezogene Schluss, wonach der ausserhalb der Bauzone liegende Teil des Pferdestalls ohne gültige Baubewilligung errichtet worden ist, ist daher bundesrechtskonform.
3. Die Vorinstanz hat sich zwar sehr eingehend mit der Frage des Vertrauensschutzes auseinandergesetzt und die dafür und dagegen sprechenden Elemente aufgezählt, letztlich aber die Frage offen gelassen, weil, selbst wenn sich die Beschwerdeführer auf den Vertrauensschutz berufen könnten, ein Verzicht auf die Wiederherstellung nicht in Frage käme, da ein überwiegendes Interesse an der Durchsetzung des materiellen Rechts bestehe (angefochtenes Urteil E. 3.5 a.E.).
Bei dieser Sachlage besteht kein Grund für das Bundesgericht, sich mit der Frage des Vertrauensschutzes zu befassen, weshalb auf die entsprechenden Ausführungen der Beschwerde (S. 4 und 5) nicht einzutreten ist.
4. Zu prüfen bleibt die Verhältnismässigkeit des Wiederherstellungsbefehls. Diese wäre zu verneinen, wenn die Abweichung vom Gesetz gering wäre und die berührten allgemeinen Interessen den Schaden, der den Eigentümern durch den Abbruch bzw. das Nutzungsverbot entstünde, nicht zu rechtfertigen vermögen (<ref-ruling> E. 6b S. 224).
4.1 Die Beschwerdeführer machen geltend, die Vorinstanz gewichte das öffentliche Interesse im fraglichen Bereich pauschal als übergeordnet, obwohl sämtlichen involvierten Behörden die zonenwidrige Nutzung bzw. Bebauung mit Tiefbauten in der Landwirtschaftszone bekannt war und bisher keinerlei Verfahrensschritte auf Prüfung oder gar Wiederherstellung des zonenkonformen Zustandes unternommen worden seien. Zudem entstehe den Beschwerdeführern durch den Rückbau ein schwerer finanzieller Verlust. Der Rückbau und die Kosten der Wiederherstellung seien zu Recht von der Vorinstanz auf Fr. 40'000.-- geschätzt worden. Hinzuzurechnen seien jedoch noch die Kosten der ursprünglichen Erstellung, die mit Fr. 40'000.-- zu beziffern seien. Insgesamt belaufe sich der Vertrauensschaden auf Fr. 80'000.--.
4.2 Die Vorinstanz ging davon aus, dass die Beschwerdeführer ein Kernanliegen des Raumplanungsrechts verletzt hätten, nämlich den Grundsatz der Trennung von Baugebiet und Nichtbaugebiet. Dementsprechend wiege das öffentliche Interesse an der Wiederherstellung des rechtmässigen Zustandes schwer und würde die privaten Interessen der Beschwerdeführer übertreffen, obwohl die finanziellen Interessen nicht leicht wiegen würden.
4.3 Diese Ausführungen sind nicht zu beanstanden. Der fragliche Pferdestall ragt rund 30 m2 in die Landwirtschaftszone und widerspricht somit in diesem Bereich dem Grundsatz der Trennung des Baugebiets vom Nichtbaugebiet und damit einem der wichtigsten Prinzipien des Raumplanungsrechts des Bundes (<ref-ruling> E. 6.4 S. 40; Urteil 1C_164/2007 vom 13. September 2007 E. 4.3). Unter diesen Umständen besteht ein grosses öffentliches Interesse an der Wiederherstellung des rechtmässigen Zustandes. Dem stehen an privaten Interessen im Wesentlichen Vermögensinteressen entgegen. Wohl ist nicht zu verkennen, dass die Beschwerdeführer durch die finanzielle Belastung hart getroffen würden. Die Vermögenseinbusse ist aber bei weitem nicht derart gewichtig, dass sie das entgegenstehende öffentliche Interesse zu überwiegen vermöchte. Daran vermag auch der von den Beschwerdeführern ins Feld geführte Umstand, wonach angeblich im fraglichen Gebiet zonenwidrige Nutzungen und Bauten toleriert würden, nichts zu ändern.
Hinzu kommt, das die Massnahme durch die im regierungsrätlichen Verfahren eingefügte zusätzliche Bedingung, wonach der Abbruch des fraglichen Teils des Pferdestalls nur bei einem Scheitern der Einzonung der Parzelle Nr. 27 oder wenn die Gesamtrevision des Zonenplans nicht weiterverfolgt werden sollte, unter Gewährung einer dreimonatigen Frist, erfolgen müsse, wesentlich gemildert wurde. Damit wird sowohl der besonderen Interessenlage der Beschwerdeführer Rechnung getragen, als auch dem Grundsatz der Verhältnismässigkeit nachgelebt. Die angefochtene Verfügung erweist sich somit auch in diesem Punkt als bundesrechtskonform.
5. Die Beschwerdeführer verlangen, dass ungeachtet des Ausgangs dieses Verfahrens alle im kantonalen Verfahren aufgelaufenen Gerichts- und Parteikosten der Vorinstanz aufzuerlegen seien.
Die Verletzung kantonalen Rechts kann nicht gerügt werden. Geprüft werden kann hingegen, ob die Anwendung des kantonalen Rechts gegen Bundesrecht verstösst (<ref-law>), d.h. gegen das Willkürverbot (<ref-law>).
Die Beschwerdeführer legen mit ihren Ausführungen allerdings nicht dar, und behaupten auch nicht, dass die Vorinstanz in Willkür verfallen sei (vgl. zum Begriff der Willkür <ref-ruling> E. 5.4 S. 148). Auf den Antrag, den kantonalen Kostenentscheid - unabhängig vom Verfahrensausgang vor Bundesgericht - aufzuheben, ist daher nicht einzutreten.
6. Die Beschwerdeführer beantragen die Feststellung, dass sie bei der Erstellung der Baute gutgläubig gehandelt haben.
Da die Vorinstanz die Frage offen gelassen hat, sie also für den Entscheid nicht relevant war, besteht auch kein Grund, dass das Bundesgericht sich dazu äussert bzw. fehlt es an einem Feststellungsinteresse. Darauf ist nicht einzutreten.
7. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten und haben keinen Anspruch auf eine Parteientschädigung (Art. 66 und Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Beschwerdeführern, dem Departement Bau, Verkehr und Umwelt des Kantons Aargau, dem Gemeinderat Herznach sowie dem Verwaltungsgericht des Kantons Aargau, 3. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 12. Mai 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Christen