Sachverhalt:
A. A._ war Eigentümer der Parzelle in B._/BE, Grundbuchblatt Nr. _. Im Jahr 1963 wurde ein Teil der Liegenschaften mit einer Freiflächenzone belegt. Im Jahr 1973 ging die Parzelle durch Heimschlag auf die Einwohnergemeinde B._/BE über, welche die Fläche für den Bau einer neuen Schulanlage beanspruchte. Die vom Gemeinwesen an den Eigentümer zu bezahlende Heimschlagsentschädigung wurde durch aussergerichtlichen Vergleich auf Fr. ... festgesetzt.
Nachdem die geplante Schulanlage nicht realisiert worden war, wurde die Parzelle im Jahr 2002 im Rahmen einer Zonenplanänderung in die Wohnzone W2 umgeteilt. Am 13. Februar 2004 reichten A.X._, Y._ und Z._ - alle drei sind Erben des im Jahre 1974 verstorbenen A._ - bei der Enteignungsschätzungskommission des Kantons Bern ein Gesuch um Rückübertragung der Parzelle Nr. _ ein. Begründet wurde das Rückforderungsrecht damit, dass die Parzelle während 30 Jahren nicht zum vorgesehenen enteignungsrechtlichen Zweck verwendet worden sei (Art. 24 Abs. 1 lit. b des Gesetzes des Kantons Bern über die Enteignung vom 3. Oktober 1965 [EntG/BE], analog). Das Verfahren wurde mit Vergleich vom 24./25. Januar 2005 erledigt. Die Erben verzichteten auf die Rückübertragung des Eigentums gegen eine von der Einwohnergemeinde B._/BE zu bezahlende Entschädigung von ... Mio. Franken.
B. Am 5. März 2009 veranlagte die Steuerkommission Q._/AG A.X._ und B.X._ für die Kantons- und Gemeindesteuern 2002. Dabei rechnete sie den A.X._ zustehenden Anteil aus der von der Einwohnergemeinde B._/BE bezahlten Entschädigung von netto Fr. ... beim Einkommen auf. Eine Einsprache wies die Gemeindesteuerkommission ab.
Mit Urteil vom 23. September 2010 bestätigte das Steuerrekursgericht des Kantons Aargau die Veranlagung.
Eine Beschwerde der Steuerpflichtigen wies das Verwaltungsgericht des Kantons Aargau mit Entscheid vom 4. Mai 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen A.X._ und B.X._ dem Bundesgericht, der Entscheid des Verwaltungsgerichts des Kantons Aargau sei aufzuheben und auf die Aufrechnung beim Einkommen von Fr. ... sei zu verzichten. Eventualiter sei die Sache zu neuer Untersuchung an die Vorinstanz oder an die Einschätzungsbehörde zurückzuweisen. Es sei, sofern erforderlich, einen Amtsbericht der Einwohnergemeinde B._/BE zu den Bemessungsgrundlagen einzuholen.
Steueramt und Verwaltungsgericht des Kantons Aargau schliessen auf Abweisung der Beschwerde. Die Eidgenössische Steuerverwaltung verzichtete auf einen Antrag.
Die Beschwerdeführer replizierten auf die ausführliche Vernehmlassung der Vorinstanz.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Entscheid des Steuergerichts des Kantons Aargau über die Kantons- und Gemeindesteuern ist zulässig (Art. 82 ff., 86 Abs. 1 lit. d und Abs. 2 BGG; Art. 73 des Bundesgesetzes über die Harmonisierung der direkten Steuern der Kantone und Gemeinden vom 14. Dezember 1990 [SR 642.14]). Die Beschwerdeführer sind zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG).
1.2 Mit der Beschwerde kann nach Art. 95 lit. a BGG die Verletzung von Bundesrecht gerügt werden. Die Verletzung von kantonalem Recht bildet keinen eigenständigen Rügegrund. Das Bundesgericht prüft frei, ob die Auslegung und Anwendung des kantonalen Rechts im harmonisierten Bereich mit den bundesrechtlichen Vorschriften übereinstimmen. Wo das Bundesrecht den Kantonen einen Spielraum einräumt, ist die Kognition des Bundesgerichts auf Willkür beschränkt (BGE 134 II 207 E. 2 S. 210).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgelegt hat (Art. 105 Abs. 1 BGG). Die Sachverhaltsfeststellung der Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. Die Beschwerdeführer machen in tatsächlicher Hinsicht geltend, dass die fragliche Parzelle Nr. _ - entgegen der Feststellung der Vorinstanz - nicht durch Enteignung auf die Einwohnergemeinde B._/BE übergegangen sei, sondern durch Heimschlag, was nicht dasselbe sei. Wie es sich damit verhält, ist vorab zu prüfen.
Unter dem Begriff Heimschlagsrecht versteht man das Recht des von einer öffentlich-rechtlichen Eigentumsbeschränkung betroffenen Eigentümers, vom Gemeinwesen die Übernahme seines Grundstücks zu Eigentum zu verlangen. Der Eigentümer kann damit, wenn die gesetzlichen Voraussetzungen erfüllt sind, gegen Abtretung des Grundstücks volle Entschädigung verlangen (Haller/Karlen, Raumplanungs- und Baurecht, 3. Aufl. 1999, Band I, N. 449 ff. S. 124 f.; Peter Hänni, Planungs-, Bau- und besonderes Umweltschutzrecht, 5. Aufl. 2008, S. 573, 618 f.; Markus Rüssli, Die Heimschlagsrechte des zürcherischen Planungs- und Baugesetzes, 1996, S. 14; BGE 132 II 188 ff.; 14 Ib 112 E. 1a, 174 E. 2).
In der Tat wurden zwischen A._ als Grundeigentümer und der Einwohnergemeinde B._/BE schon im Jahre 1967 Verhandlungen über die Abtretung der von der Eigentumsbeschränkung betroffenen Parzelle Nr. _ geführt, wie sich aus einem Entscheid der Enteignungsschätzungskommission des Kantons Bern vom 19. September 1972 ergibt. In einem aussergerichtlichen Vergleich vom 15. Dezember 1972 / 8. Januar 1973 kamen die Verhandlungspartner überein, dass die Einwohnergemeinde die fragliche Parzelle zu dem von der Schätzungskommission festgelegten Preis zu Eigentum übernimmt. Die Schätzungskommission spricht im genannten Entscheid von einer materiellen Enteignung, "indem der teilweise Einbezug der Liegenschaft ... in eine Freiflächenzone einen gesetzesvollziehenden Eingriff in das Eigentum darstellt, der einer Enteignung gleichkommt". Der Grundeigentümer könne in einem solchen Fall grundsätzlich verlangen, dass das Gemeinwesen, statt den Minderwert zu entschädigen, das Grundstück übernehme (Art. 100 des alten Baugesetzes des Kantons Bern vom 7. Juni 1970).
Der Entscheid der Schätzungskommission und der aussergerichtliche Vergleich sind keine Noven und für die Beurteilung des Charakters der erfolgten Zahlungen wesentlich. Sie deuten darauf hin, dass die Eigentumsübertragung im Rahmen beidseitigen Einverständnisses zustande kam, nachdem eine materielle Enteignung infolge der Eigentumsbeschränkung feststand. Die Beschwerdeführer sprechen zu Recht von einem Heimschlag. Die vorinstanzliche Sachverhaltsfeststellung ist in diesem Punkt zu korrigieren (Art. 97 Abs. 1 BGG).
3. Die Beschwerdeführer rügen eine Verletzung ihres Anspruchs auf rechtliches Gehör, weil die Vorinstanz ihren Entscheid nicht in einer den rechtsstaatlichen Anforderungen genügenden Weise begründet habe. Sie stossen sich insbesondere daran, dass die Vorinstanz bei der Begründung der Ansicht der Gerichtsmehrheit die Frage des Schadenersatzcharakters der in Frage stehenden Zahlung der Einwohnergemeinde nicht geprüft und sich auch über die Problematik der Nicht-Einkünfte hinweggesetzt habe.
Aus dem Anspruch auf rechtliches Gehör gemäss Art. 29 Abs. 2 BV fliesst die Pflicht zur Begründung von Verfügungen. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann (BGE 133 I 270 E. 3.1; 133 III 439 E. 3.3 S. 445 mit Hinweis). Die erforderliche Begründungsdichte hängt dabei eng mit den zugrunde liegenden materiell-rechtlichen Fragen zusammen. Die Frage, ob die Vorinstanz den Charakter der von der Gemeinde bezahlten Entschädigung ausreichend geprüft und das System der Einkommensbesteuerung richtig und vollständig dargestellt hat, stellt sich im Lichte der anwendbaren steuerrechtlichen Normen. Die formelle Rüge kann vorliegend daher nicht losgelöst von der Prüfung der fraglichen Entschädigung in materieller Hinsicht beurteilt werden und ist zusammen mit dieser zu prüfen. Nur der Vollständigkeit halber sei darauf hingewiesen, dass die Vorinstanz in ihrer ausführlichen Vernehmlassung zur Beschwerde die von den Beschwerdeführern monierten Punkte ausführlich erörtert hat. Die Beschwerdeführer konnten hierzu replizieren.
4. Gemäss § 25 Abs. 1 des Steuergesetzes des Kantons Aargau vom 15. Dezember 1998 (StG/AG) unterliegen der Einkommenssteuer alle wiederkehrenden und einmaligen Einkünfte. Es handelt sich um die Einkommensgeneralklausel, wie sie auch dem Art. 7 Abs. 1 StHG zugrunde liegt. Sie wird in §§ 26-32 StG/AG ergänzt durch eine (nicht abschliessende) Aufzählung der wichtigsten Einkünfte. Zu den steuerbaren Einkünften zählt § 23 lit. d StG/AG auch die "Entschädigungen für die Nichtausübung eines Rechts". Die Vorschrift ist wörtlich der entsprechenden Bestimmung in Art. 23 lit. d des Bundesgesetzes über die direkte Bundessteuer vom 14. Dezember 1990 (DBG; SR 642.11) nachgebildet. Dass die Enumeration der steuerbaren Einkünfte nicht abschliessend zu verstehen ist, ergibt sich auch durch Umkehrschluss aus Art. 7 Abs. 4 StHG. Danach sind steuerfrei nur die dort in lit. a-l (bzw. § 33 lit. a-k StG/AG) aufgezählten Einkünfte.
Zu den steuerfreien Einkünften gehören insbesondere die Kapitalgewinne auf beweglichem Privatvermögen (§ 33 lit. i StG/AG resp. Art. 7 Abs. 4 lit. b StHG). Hingegen fallen Grundstückgewinne auf Liegenschaften des Privatvermögens im Zeitpunkt der Veräusserung oder der Verwirklichung eines ihr gleichgestellten Tatbestands unter die Grundstückgewinnsteuer (Art. 12 Abs. 1 und 2 StHG). Dieses Einkommenssteuerkonzept der Einkommensgeneralklausel mit einem Katalog der wichtigsten Einkunftsarten (nicht abschliessend) und einer (abschliessenden) Enumeration der steuerfreien Einkünfte entspricht der Auffassung, wie sie in Rechtsprechung und Lehre vor allem für die direkte Bundessteuer vertreten wird (BGE 125 II 113 E. 4a; Urteil 2A.668/2004 vom 22. April 2005 E. 2.1 in: ASA 76 S. 675 mit zahlreichen Hinweisen; einschränkend für das DBG, Peter Locher, Kommentar zum Bundesgesetz über die direkte Bundessteuer, I. Teil, 2001, N. 6 zu Art. 16 DBG mit Hinweisen). Doch sind im Wesentlichen die gleichen Grundsätze auch im Bereich der harmonisierten kantonalen Steuern anwendbar (vgl. dazu Markus Reich, in: Kommentar zum Schweizerischen Steuerrecht, Bd. I/1, 2. Aufl. 2002, N. 4 zu Art. 7 StHG; ders., in: Kommentar zum Schweizerischen Steuerrecht, Bd. I/2a, 2. Aufl. 2008, N. 3 f. zu Art. 16 DBG; Martin Plüss, in: Kommentar zum Aargauer Steuergesetz, Bd. 1, 3. Aufl. 2009, N. 2 zu § 25 StG/AG).
Wie die Vorinstanz in ihrer Vernehmlassung zu Recht ausführt, sind das Einkommenssteuerrecht und das Grundstückgewinnsteuerrecht -im Idealfall - steuersystematisch und wertungsmässig vollständig aufeinander abgestimmt und stellen diese - abgesehen von der Steuerfreiheit von Kapitalgewinnen aus der Veräusserung von beweglichem Privatvermögen - ein lückenloses System der Einkommensbesteuerung dar (s. auch Locher, a.a.O., N. 8 ff. zu Art. 16 DBG; Reich, a.a.O., N. 8 ff. und 16 ff. zu Art. 7 StHG; Plüss, a.a.O., N. 2 ff. zu § 25 StG/AG). In diesem System gibt es allerdings Ausnahmen (vgl. Locher, a.a.O., N. 6, 9, 17 zu Art. 16 DBG); diese gründen zum Teil auf steuersystematischen und sozialpolitischen Überlegungen, teilweise aber auch auf Eigenarten des steuerrechtlichen Einkommensbegriffs (Reich, a.a.O., N. 13 zu Art. 16 DBG). Dennoch kann aber für eine an Gesetzeszweck und -systematik orientierten Auslegung grundsätzlich vom Konzept des umfassenden Einkommensbegriffs ausgegangen werden (Reich, a.a.O., N. 4 ff. zu Art. 16 DBG).
Von vornherein keine Einkünfte stellen demgegenüber Zuflüsse dar, denen ein Abfluss gegenüber steht, wie das zum Beispiel beim Schadenersatz oder bei der Rückleistung für ungerechtfertigte Bereicherung (Art. 62 Abs. 1 OR) der Fall ist. Das ergibt sich bereits aus dem steuerrechtlichen Einkommensbegriff, weshalb es hierfür keiner ausdrücklichen Erwähnung im Steuergesetz bedarf (z.B. Schadenersatz, vgl. Reich, a.a.O., N. 26 zu Art. 7 StHG; s. auch BGE 132 II 128 E. 3.1; 117 Ib 1). Bevor ein Vermögenszugang dem Reinvermögen zugerechnet wird, ist daher zu prüfen, ob ihm nicht ein korrelierender Vermögensabgang gegenübersteht (s. jetzt auch Markus Reich, Rückerstattung von übersetzten Boni und anderen Lohnzahlungen, ASA 80 S. 114).
Das hat die Vorinstanz nicht etwa übersehen, wie die Beschwerdeführer unterstellen. Vielmehr unterscheidet sie klar zwischen dem nicht einkommensauslösenden Schadensausgleich einerseits und andererseits der erfolgreichen Geltendmachung dinglicher Ansprüche, die sich allenfalls im Einkommen auswirken können (angefochtener Entscheid E. 2.3.2). Insofern hat die Vorinstanz ihre Begründungspflicht erfüllt und ist der Anspruch auf rechtliches Gehör nicht verletzt (vgl. vorn E. 3).
5. In Frage steht die einkommenssteuerrechtliche Qualifikation der Zahlung der Einwohnergemeinde B._/BE an die Beschwerdeführer. Diese erfolgte als Gegenleistung dafür, dass die Erben auf die Rückforderung des Grundstücks verzichtet haben. Beim Rückforderungsrecht handelt es sich um einen spezifischen enteignungsrechtlichen (gesetzlichen) Anspruch des von der Enteignung Betroffenen auf Rückübertragung des enteigneten Rechts, wenn bestimmte Voraussetzungen erfüllt sind. Die Enteignung ist für einen bestimmten Zweck bewilligt worden und bleibt weiterhin nur für diesen gerechtfertigt. Das Gesetz stellt die Enteignung daher unter eine auflösende Bedingung für den Fall, dass das Grundstück nicht oder zweckentfremdet verwendet wird. Als Folge der Rückübertragung sind die erfolgten Leistungen beidseitig zurückzuerstatten resp. zu verrechnen (Hänni, a.a.O., S. 587 f.; s. auch BGE 120 Ib 276 E. 9a, 496 E. 3; 99 Ib 267 E. 2; je in Hinblick auf Art. 102 EntG [SR 711]). Die Statuierung eines öffentlichrechtlichen Anspruchs auf Rückübertragung des Eigentums betrachtet die Doktrin als Auswirkung der Eigentumsgarantie (Marco Borghi, Die Rückforderung enteigneter Grundstücke: ein missachtetes Recht, BR 1995 S. 62; Hess/Weibel, Das Enteignungsrecht des Bundes, Band I, 1986, N. 2 zu Art. 102 EntG).
Der von den Rechtsnachfolgern bei der Enteignungsschätzungskommission des Kantons Bern geltend gemachte Rückübertragungsanspruch leitet sich somit aus dem ursprünglichen Eigentumsrecht ab und ist auf die Rückübertragung des Eigentums resp. des enteigneten Rechts gerichtet. Daran ändert nichts, dass der Anspruch, sofern die Voraussetzungen erfüllt sind, von Gesetzes wegen neu entsteht (und auch den Erben zustehen kann, BGE 120 Ib 215 E. 3a). Ob ein gesetzliches Rückforderungsrecht auch im Heimschlagsfall besteht (was zwischen den Parteien umstritten war, s. dazu auch Hess/Weibel, a.a.O., N. 4 zu Art. 102 EntG), kann offenbleiben, nachdem die Beschwerdeführer gegen Entschädigung auf eine Realrestitution verzichtet haben.
6. 6.1 Die Beschwerdeführer machen geltend, bei der Zahlung der Gemeinde handle es sich um eine Rückerstattung aus ungerechtfertigter Bereicherung (Art. 62 Abs. 1 OR), allenfalls um eine Schadenersatzleistung. Sie führen aus, die früher an A._ sel. ausbezahlte Heimschlagsentschädigung sei nur unter der stillschweigenden, von allen Beteiligten damals als selbstverständlich vorausgesetzten Negativvoraussetzung "angemessen" gewesen, dass das Grundstück nicht dereinst massiv aufgezont werde. Genau das sei aber wider Erwarten geschehen. Dabei habe sich das Gemeinwesen den rechtsgrundlosen Vermögensvorteil verschafft. Mit der hier zu beurteilenden Zahlung gehe es somit um eine Kompensation, nämlich um die Korrektur der ungerechtfertigten Bereicherung im Sinne von Art. 62 Abs. 1 OR oder allenfalls um Schadenersatz. Auszugleichen sei die Vermögensvermehrung bei der Einwohnergemeinde, die mit einer Vermögenseinbusse der Beschwerdeführer korrespondiere.
6.2 Dieser Auffassung kann nicht gefolgt werden. Wie erwähnt, ermöglicht das enteignungsrechtliche Institut der Rückforderung die Rückübertragung des enteigneten (oder heimgeschlagenen) Grundstücks, wenn der Grund für die Enteignung weggefallen ist. Es erfolgt eine Rückabwicklung der beidseitigen Leistungen. Der frühere Eigentümer oder dessen Rechtsnachfolger sollen grundsätzlich so gestellt werden, wie wenn die Enteignung oder der Heimschlag nie stattgefunden hätte (restitutio in integrum, vgl. Borghi, a.a.O., S. 61). Ein Minderwert oder Mehrwert sind auszugleichen (vgl. Art. 24 Abs. 1 EntG/BE; Hänni, a.a.O., S. 588; Hess/Weibel, a.a.O., N. 3 ff. zu Art. 106 EntG). Ein allfälliger Wertzuwachs, den das Grundstück konjunktur- oder planungsbedingt in der Zwischenzeit erfahren hat, fällt ohne zusätzliche Entschädigung in das Vermögen des früheren Eigentümers resp. seines Rechtsnachfolgers.
Die frühere Enteignung wird aber nicht deshalb zu einem widerrechtlichen Ereignis, weil ein enteignungsrechtlicher Anspruch auf Rückforderung entsteht. Für den Heimschlag wurde A._ voll entschädigt. Nach dem Heimschlag stand das Grundstück nicht mehr in seinem Eigentum. Die Beschwerdeführer als dessen Rechtsnachfolger waren nie Eigentümer des Grundstücks, weder zivilrechtlich noch wirtschaftlich. Ein obligatorischer Anspruch auf Herausgabe eines planungs- oder konjunkturbedingten Mehrwerts bestand nicht. Schliesslich waren die Beschwerdeführer auch nie entreichert. Es ist daher nicht ersichtlich, unter welchem Titel ein Anspruch aus ungerechtfertigter Bereicherung im Sinne von Art. 62 Abs. 1 OR oder ein Schadenersatzanspruch begründet sein könnte. Die Ansicht der Beschwerdeführer, es entstehe ein solcher Anspruch, wenn der Grund für die Enteignung wegfalle und das Grundstück eine Wertsteigerung erfahren habe, entbehrt damit der Rechtsgrundlage.
7. Fraglich ist, ob die Zahlung der Einwohnergemeinde als ein der Grundstückgewinnsteuer (des Kantons Bern) unterliegendes zusätzliches Entgelt für den damaligen Heimschlag betrachtet werden kann.
7.1 Das ist zu verneinen: Die materielle Enteignung und der Heimschlag des Grundstücks sind abgeschlossene Sachverhalte. Ein Anspruch auf Rückübertragung des Grundstücks ergibt sich - wenn überhaupt - nur, wenn das Gesetz dies vorsieht. Der Anspruch besteht unabhängig davon, ob die materielle Enteignung rechtmässig war oder nicht. Eine weitere zivil- oder grundbuchrechtliche Übertragung dinglicher Rechte hat nicht stattgefunden. Auch eine Abschöpfung des Planungsmehrwerts, sofern das kantonale Recht diesen Tatbestand der Grundstückgewinnsteuer unterstellt (vgl. Art. 12 Abs. 2 lit. e StHG), könnte nur beim Eigentümer des Grundstücks einsetzen (s. auch Bernhard Zwahlen, in: Kommentar zum Schweizerischen Steuerrecht, Band I/1, 2. Aufl. 2002, N. 41 zu Art. 12 StHG).
7.2 In Betracht fiele allenfalls eine wirtschaftliche Handänderung, wenn - in entsprechender Betrachtungsweise - davon ausgegangen werden müsste, das Grundstück sei von der Einwohnergemeinde an die Beschwerdeführer übertragen und von diesen sofort wieder an das Gemeinwesen verkauft worden. Ein solches Vorgehen wurde von den Erben in der Tat erwogen, jedoch wegen der zu erwartenden Grundstückgewinnsteuer verworfen. Statt dessen haben sie - nicht zuletzt im Hinblick auf das Prozessrisiko - dem aussergerichtlichen Vergleich zugestimmt. Dieser Prozessvergleich kann daher nicht in einer wirtschaftlichen Betrachtungsweise als eine doppelte (wirtschaftliche) Handänderung an einem Grundstück qualifiziert werden.
8. 8.1 Vorliegend haben die Beschwerdeführer ihren Restitutionsanspruch nicht ausgeübt. Sie haben darauf verzichtet, weil das Gemeinwesen bereit war, sie zu entschädigen.
Aus der Sicht der Ansprecher handelt es sich bei der Zahlung vor allem um eine Abgeltung für den konjunkturellen und planungsbedingten Mehrwert, den die Liegenschaft zwischenzeitlich erfahren hatte. Die Beschwerdeführer trugen jedoch ein Prozessrisiko. Der Rückforderungsanspruch war von der Gegenseite bestritten worden, zumal das Grundstück durch Heimschlag, nicht durch formelle Enteignung auf die Einwohnergemeinde überging. Das Gemeinwesen seinerseits leistete die Zahlung, um das Eigentum am Grundstück behalten zu können. Wie die Vorinstanz daher zu Recht bemerkt, bestand der Sinn des zwischen den Erben und dem Gemeinwesen geschlossenen aussergerichtlichen Vergleichs darin, die beidseitigen Chancen und Risiken eines allfälligen Prozesses zu saldieren und damit den Rückforderungsanspruch abzugelten. Bei der fraglichen Entschädigung handelt es sich daher um ein Entgelt für die Verzichtserklärung der Beschwerdeführer.
8.2 Fragen kann sich damit nur, ob die Zahlung unter § 32 lit. d StG/AG oder unter die Einkommensgeneralklausel im Sinne von § 25 Abs. 1 StG/AG fällt. Gemäss § 32 lit. d StG/AG sind auch steuerbar die "Entschädigungen für die Nichtausübung eines Rechts" (s. auch Art. 23 lit. d DBG). In der Doktrin steht fest, dass diese Vorschrift zu offen formuliert und deren Wortlaut eingeschränkt werden muss (vgl. Blumenstein/Locher, System des Steuerrechts, 6. Aufl. 2002, S. 187; Richner/Frei/Kaufmann/Meuter, Kommentar zum harmonisierten Zürcher Steuerrecht, 2. Aufl. 2006, N. 45 zu § 23 lit. d StG/ZH). Geht es um ein entgeltlich erworbenes Recht, so liegt in der Regel eine Vermögensumschichtung und nicht Einkommen vor; eine Entschädigung für den Verzicht im Sinn von § 32 lit. d StG/AG (wie auch Art. 23 lit. d DBG) muss daher den Charakter von Einkommen bzw. Ertrag haben (Hans-Jörg Müllhaupt, in: Kommentar zum Aargauer Steuergesetz, Band 1, 3. Aufl. 2009, N. 10 zu § 32 StG/AG; in diesem Sinn auch Richner et al., a.a.O., N. 45 zu § 23 lit. d StG/ZH; Locher, a.a.O., N. 38 zu Art. 23 DBG; Urteil 2P.55/2002 vom 20. Juni 2002 E. 3, in: StE 2002 B 26.27 Nr. 5).
Vorliegend hängt die Zahlung direkt mit dem Verzicht auf die Rückübertragung der Liegenschaft zusammen. Das geltend gemachte Rückübertragungsrecht wurde durch die Beschwerdeführer nicht entgeltlich erworben, sondern fiel ihnen von Gesetzes wegen zu. Es handelt sich um die Nachwirkung aus einer früheren Eigentumsposition, wobei der Anspruch aber neu ist. Mit dem Entgelt liessen sich die Beschwerdeführer ihren Verzicht auf die Rückabwicklung entschädigen. Es geht nicht um den Ausgleich eines Schadens, wie bereits ausgeführt worden ist (vgl. vorn E. 6). Die Zahlung hat daher aus der Sicht der Beschwerdeführer den Charakter eines Vermögenszuflusses und ist eigentumswirksam (s. auch das Urteil vom 6. Oktober 1965 E. 2, in: ASA 35 S. 487 E. 2 für den Verzicht auf ein Kaufsrecht). Es handelt sich mithin um steuerbares Einkommen nach § 32 lit. d StG/AG.
9. Das führt zur Abweisung der Beschwerde. Die Gerichtskosten sind den Beschwerdeführern aufzuerlegen; sie haften hierfür solidarisch (Art. 65 und 66 Abs. 1 und 5 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 7'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, dem Steueramt des Kantons Aargau, dem Verwaltungsgericht des Kantons Aargau, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 29. Februar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann