Sachverhalt:
A. X._ ist Eigentümer der Parzelle Nr. 537 in Lengnau/AG ("Bleiwiese"). Diese wies ursprünglich eine Fläche von 16'625 m2 auf, wobei 4'000 m2 mit einem Kaufrecht belegt waren. Gemäss der Bauordnung Lengnau mit Zonenplan vom 27. Juni 1980 (genehmigt am 20. Oktober 1981; im Folgenden: BO 1980/81) lag die Parzelle in der Wohnzone 2 (W2), 2. Etappe. Ein ca. 10 m breiter Streifen entlang der Surb lag im Nichtbaugebiet.
B. Am 25. März 1994 beschloss die Gemeindeversammlung Lengnau den neuen Bauzonenplan und die Bau- und Nutzungsordnung; diese wurden vom Grossen Rat des Kantons Aargau am 5. März 1996 genehmigt (BNO 1994/96). Entlang der Surb wurde eine 6 m breite Uferschutzzone ausgeschieden. Die Parzelle Nr. 537 wurde überwiegend der Wohnzone 3 (W3), 2. Erschliessungsetappe, mit Gestaltungsplanpflicht zugewiesen. Der südwestliche Teil der Parzelle (3'000 m2) wurde der Zone für öffentliche Bauten und Anlagen (OE) zugeteilt.
C. Mit Eingabe vom 19. März 2004 verlangte X._ bei der Schätzungskommission nach Baugesetz des Kantons Aargau eine Entschädigung u.a. für Nutzungsbeschränkungen infolge der BNO 1994/96. Die Schätzungskommission führte einen Augenschein durch und wies das Begehren ab, soweit die Parzelle der Wohnzone mit Gestaltungsplanpflicht zugewiesen worden war. Das Begehren um Entschädigung wegen materieller Enteignung infolge Zuweisung eines Teils der Parzelle 537 zur Zone OE wurde "zurzeit" abgewiesen, soweit darauf einzutreten sei. Die Schätzungskommission vertrat die Auffassung, über dieses Gesuch sei erst im Verfahren der formellen Enteignung zu entscheiden, falls die Gemeinde das ihr zustehende Enteignungsrecht ausübe.
Am 16. August 2007 wies das Verwaltungsgericht die dagegen gerichtete Beschwerde von X._ ab, soweit es darauf eintrat.
D. Dagegen erhob X._ Beschwerde ans Bundesgericht. Dieses hiess die Beschwerde am 14. März 2008 teilweise gut, soweit die Vorinstanzen die Frage, ob die Zuweisung von 3'000 m2 der Parzelle Nr. 537 zur Zone OE eine materielle Enteignung dargestellt habe, offen gelassen hatten. Insoweit wies es die Sache zu neuem Entscheid an das Verwaltungsgericht zurück. Im Übrigen wies es die Beschwerde ab (Urteil 1C_317/2007).
E. Am 19. Januar 2009 wies das Verwaltungsgericht die Beschwerde ab.
F. Dagegen hat X._ am 5. März 2009 erneut Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und der Kanton Aargau sei zu verpflichten, ihn zufolge materieller Enteignung zu entschädigen. Zudem beantragt er die unentgeltliche Rechtspflege.
G. Die Gemeinde Lengnau beantragt Abweisung der Beschwerde. Das Verwaltungsgericht, die Schätzungskommission und das Bundesamt für Raumplanung (ARE) haben auf eine Vernehmlassung verzichtet.
Erwägungen:
1. Gegen den angefochtenen, kantonal letztinstanzlichen Entscheid, mit dem das Verwaltungsgericht eine Entschädigungspflicht der Gemeinde Lengnau wegen materieller Enteignung verneinte, steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 ff. BGG).
1.1 Zu prüfen ist nur noch, ob die Zuweisung von 3'000 m2 der Parzelle Nr. 537 zur Zone OE durch die BNO 1994/96 eine entschädigungspflichtige materielle Enteignung bewirkt hat. Dies ist zu verneinen, wenn das Grundstück des Beschwerdeführers anlässlich der Nutzungsplanung 1994/1996 entschädigungslos einer Nichtbauzone hätte zugewiesen werden können.
Über alle anderen Streitfragen wurde bereits im Rückweisungsurteil des Bundesgerichts vom 14. März 2008 entschieden, an dessen Erwägungen sowohl das Verwaltungsgericht als auch das Bundesgericht selbst gebunden sind (zur Veröffentlichung bestimmter Entscheid 4A_527/2008 vom 11. März 2009 E. 2 mit Hinweisen). Soweit der Beschwerdeführer das damals bereits Entschiedene erneut in Frage stellt, ist auf die Beschwerde nicht einzutreten.
1.2 Der Beschwerdeführer beantragt eine Entschädigung durch den Kanton Aargau. Im bisherigen Verfahren war jedoch unstreitig, dass eine allfällige Entschädigung wegen materieller Enteigung infolge der kommunalen Nutzungsplanung von der Gemeinde Lengnau zu zahlen wäre; dies wurde auch vom Beschwerdeführer nie bestritten. Es handelt sich somit um ein offensichtliches Versehen. Der Antrag ist in dem Sinne zu korrigieren, dass die Gemeinde Lengnau zur Zahlung einer Entschädigung verpflichtet werden soll.
2. Schätzungskommission und Verwaltungsgericht gingen davon aus, dass die Gemeinde Lengnau ihre Nutzungsplanung mit der BNO 1994/1996 erstmals den Anforderungen des RPG angepasst habe. Zwar sei die zuvor geltende BO 1980/1981 kurz nach Inkrafttreten des RPG beschlossen worden; sie sei jedoch materiell auf das alte Baugesetz des Kantons Aargau ausgerichtet gewesen und habe wichtigen Grundsätzen des RPG widersprochen: So habe die BO 1980/1981 keine Kulturlandplanung enthalten und habe zudem eine Art. 15 RPG widersprechende Baugebietsetappierung vorgesehen (angefochtener Entscheid E. 2.2 S. 7; Entscheid der Schätzungskommission E. 3.1 S. 8).
2.1 Diese Ausführungen entsprechen der bundesgerichtlichen Rechtsprechung (vgl. dazu die bereits vom Verwaltungsgericht zitierten einschlägigen Bundesgerichtsentscheide) und sind nicht zu beanstanden. Damit haben die Vorinstanzen für die Frage, ob die Bleiwiese entschädigungslos einer Nichtbauzone hätte zugeteilt werden dürfen, zu Recht die bundesgerichtlichen Grundsätze zur Nichteinzonung zu Grunde gelegt. Massgeblicher Stichtag für die Frage, ob eine materielle Enteignung vorliegt, ist das Inkrafttreten des neuen Zonenplans (BGE 132 II 218 E. 2.4 S. 222 mit Hinweisen) am 5. März 1996.
2.2 Nichteinzonungen lösen grundsätzlich keine Entschädigungspflicht aus. Sie treffen den Eigentümer nur ausnahmsweise enteignungsähnlich, etwa dann, wenn er überbaubares oder grob erschlossenes Land besitzt, das von einem gewässerschutzrechtlichen generellen Kanalisationsprojekt (GKP) erfasst wird, und wenn er für die Erschliessung und Überbauung seines Landes schon erhebliche Kosten aufgewendet hat, wobei diese Voraussetzungen in der Regel kumulativ erfüllt sein müssen. Sodann können weitere besondere Gesichtspunkte des Vertrauensschutzes so gewichtig sein, dass ein Grundstück unter Umständen hätte eingezont werden müssen. Ein Einzonungsgebot kann ferner zu bejahen sein, wenn sich das fragliche Grundstück im weitgehend überbauten Gebiet befindet. Aufgrund solcher Umstände lässt sich annehmen, der Eigentümer habe am massgebenden Stichtag mit hoher Wahrscheinlichkeit mit einer aus eigener Kraft realisierbaren Überbauung seines Landes rechnen dürfen. Dabei ist eine Gesamtwürdigung aller rechtlichen und tatsächlichen Gegebenheiten vorzunehmen (BGE 132 II 218 E. 2.2 und 2.3 S. 220 f. mit Hinweisen).
3. Der Begriff des weitgehend überbauten Gebiets im Sinne von Art. 15 lit. a RPG bzw. Art. 36 Abs. 3 RPG wird in der Rechtsprechung eng verstanden. Er umfasst im Wesentlichen den geschlossenen Siedlungsbereich mit eigentlichen Baulücken. Ob ein Grundstück im weitgehend überbauten Gebiet liegt, beurteilt sich gebietsbezogen, parzellenübergreifend, anhand der gesamten bestehenden Siedlungsstruktur. Überbautes Gebiet in diesem Sinn liegt ferner nur vor, soweit die bereits vorhandene Überbauung allgemeinen Siedlungsbau darstellt. Landwirtschaftliche oder andere primär für die Freilandnutzung bestimmte Bauten geben in der Regel kein oder nur ein wenig gewichtiges Argument für eine Zuteilung zur Bauzone ab (BGE 132 II 218 E. 4.1 S. 222 f. mit Hinweisen).
Baulücken sind einzelne unüberbaute Parzellen, die unmittelbar an das überbaute Land angrenzen, in der Regel bereits erschlossen sind und eine relativ geringe Fläche aufweisen. Die Nutzung der Baulücke wird vorwiegend von der sie umgebenden Überbauung geprägt; das unüberbaute Land muss also zum geschlossenen Siedlungsbereich gehören, an der Siedlungsqualität teilhaben und von der bestehenden Überbauung so stark geprägt sein, dass sinnvollerweise nur die Aufnahme in die Bauzone in Frage kommt.
Die Siedlungsqualität einer unüberbauten Fläche wird von der sie umgebenden Überbauung umso weniger beeinflusst, je grösser sie ist. Das Bundesgericht hat das Vorliegen einer Baulücke aus quantitativen Gründen bei Flächen von 1,4 ha, 2,3 ha, 5,5 ha und 12 ha verneint. Allerdings beurteilt sich die Frage nach dem Vorliegen einer Baulücke nicht nach rein quantitativen Kriterien. Insofern kann bereits bei einer geringeren Ausdehnung als 1 ha fraglich sein, ob eine unüberbaute Parzelle noch als Baulücke zu bewerten ist (BGE 132 II 218 E. 4.2.3 und 4.2.5 S. 224 f. mit Hinweisen).
Keine Baulücken sind nach der bundesgerichtlichen Praxis grössere unüberbaute Flächen im Siedlungsgebiet, die der Auflockerung der Siedlungsstrukturen, der Erhöhung der Wohnqualität durch Grünflächen sowie der Schaffung von Freizeitbereichen dienen. Eine derartige freie Fläche wird nicht von der sie umgebenden Überbauung geprägt, sondern weist eine eigenständige Funktion auf; sie ist nicht dem weitgehend überbauten Gebiet zuzurechnen (BGE 132 II 218 E. 4.2.2 S. 223 mit Hinweisen).
3.1 Die Schätzungskommission ging davon aus, die Bleiwiese hätte am Stichtag im weitgehend überbauten Gebiet gelegen, da das zentrumsnahe Areal im Norden, Osten und Süden an überwiegend überbaute Bauzonen gegrenzt habe. Nur ein schmaler Spickel im Nordwesten, zwischen Surbtalstrasse und Surb, habe zur Nichtbauzone gehört. Die Parzelle auf der anderen Seite der Surb sei der Gewerbezone zugewiesen und überbaut gewesen. Insgesamt hätten die Überbauungen in der näheren Umgebung die Bleiwiese als Baulücke erscheinen lassen. Sie sei denn auch mit der BNO 1994/96 (mit Ausnahme von 3000 m2) der Wohnzone W3 zugeteilt worden.
Diese Auffassung vertritt auch der Beschwerdeführer: Die Bleiwiese liege im Zentrum des Dorfs Lengnau und sei allseitig von Wohn- und Gewerbebetrieben umgeben.
3.2 Dagegen verneinte das Verwaltungsgericht die Zugehörigkeit der Bleiwiese zum weitgehend überbauten Gebiet. Allein die Grösse des Grundstücks von 1.66 ha spreche gegen die Annahme einer Baulücke. Sodann konzentriere sich das Siedlungsgebiet der Gemeinde Lengnau um die zwei historischen Dorfkerne (Ober- und Unterlengnau); diese Siedlungsgebiete würden durch die Surb und die Surbtalstrasse getrennt. Diese Trennungsfunktion, welche mit der Uferschutzzone auch Eingang in die Planung gefunden habe, sei auch für die Bleiwiese von landschaftsfunktionaler Bedeutung. Die isolierte, inselartige Gewerbezone sei relativ klein und ihre Bauten prägten die Bleiwiese nicht. Eine relevante Prägung vermöge auch der Gärtnereibetrieb als Einzelbaute im Norden nicht zu vermitteln. Gleiches gelte für die eher lockere Überbauung im nach Osten und Norden angrenzenden Baugebiet. Die Dorfzone wiederum sei kompakt und beschränke sich auf den eigentlichen Dorfkern von Oberlengnau. Die Bleiweise habe sich nicht als isolierte Insel im Siedlungsgebiet präsentiert, und der Nähe zum Dorfzentrum von Oberlengnau komme angesichts der ländlichen Siedlungsstruktur keine entscheidende Bedeutung zu.
3.3 Diese Ausführungen lassen keine Verletzung von Bundesrecht erkennen. Sowohl die Grösse des unüberbauten Gebiets (insgesamt 1.6 ha) als auch seine Lage an der Surb und der Surbtalstrasse, an der Trennlinie zwischen den beiden historischen Siedlungsgebieten von Lengnau, sprechen für eine eigenständige Bedeutung dieser unüberbauten Fläche und damit gegen das Vorliegen einer Baulücke.
4. Das Verwaltungsgericht hat weiter festgehalten, dass die Bleiwiese zum Stichtag nicht grob erschlossen war und der Beschwerdeführer auch nicht nachgewiesen habe, erhebliche Investitionen für die Erschliessung und Überbauung seines Landes aufgewendet zu haben.
4.1 Der Beschwerdeführer bringt dagegen nur vor, dass eine Erschliessung möglich gewesen sei, nicht aber, dass sie bereits bestand. Soweit er der Gemeinde vorwirft, ihrer Erschliessungspflicht nicht nachgekommen zu sein, kann auf den Rückweisungsentscheid vom 14. März 2008 (E. 5.3) verwiesen werden.
4.2 Hinzu kommt, dass die Parzelle Nr. 537 am Stichtag (März 1996) stark hochwassergefährdet war. Noch heute, nach den im Jahr 2003 von Kanton und Gemeinde durchgeführten Hochwasserschutzmassnahmen, weist die Bleiwiese ein Schutzdefizit auf und wurde deshalb von der Schätzungskommission als nicht baureif betrachtet (Entscheid der Schätzungskommission E. 4.1.1.1 S. 11).
5. Es sind auch keine anderen Umstände ersichtlich, die eine materielle Enteignung begründen könnten. Das Verwaltungsgericht hat - wie schon die Schätzungskommission - das Vorliegen besonderer Vertrauenstatbestände verneint. Der Beschwerdeführer bringt auch keine solchen Tatbestände (mehr) vor, sondern macht lediglich geltend, seine Parzelle habe aufgrund der teilweisen Zuweisung in die Zone OE eine Wertminderung erfahren. Dies allein genügt jedoch nicht für die Bejahung einer materiellen Enteignung (vgl. oben, E. 2.2). Insofern kann offen bleiben, ob überhaupt eine Wertminderung eingetreten ist, oder der Beschwerdeführer nicht vielmehr durch die Einzonung des grössten Teils der Parzelle Nr. 537 in die Wohnzone 3 (2. Erschliessungsetappe) und die Hochwasserschutzinvestitionen von Kanton und Gemeinde bei gesamthafter Betrachtung einen erheblichen Wertzuwachs erfahren hat.
6. Nach dem Gesagten ist die Beschwerde abzuweisen.
Der Beschwerdeführer beantragt die unentgeltliche Rechtspflege. Seine Bedürftigkeit ist erstellt. Die Aussichten seiner Beschwerde waren zwar ungewiss; immerhin aber hatte das Verwaltungsgericht im ersten Entscheid noch offen gelassen, ob es sich um eine Umzonung oder eine Nichteinzonung handle und ob vom Vorliegen einer Baulücke auszugehen sei. Insofern kann nicht gesagt werden, die Beschwerde sei von vornherein aussichtslos gewesen. Deshalb ist dem Antrag zu entsprechen und es sind keine Gerichtskosten zu erheben (Art. 64 Abs. 2 BGG).
Die in ihrem amtlichen Wirkungskreis obsiegende Gemeinde hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
Es werden keine Kosten erhoben.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, der Einwohnergemeinde Lengnau, der Schätzungskommission nach Baugesetz und dem Verwaltungsgericht des Kantons Aargau, 4. Kammer, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 6. Juli 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Féraud Gerber