Sachverhalt: A. A. und B.X._ übergaben im Jahr 2004 (aber rechtlich rückwirkend per 31. Januar 2003) ihren Landwirtschaftsbetrieb in A._ an ihren Sohn B._. Auf die gleiche Weise veräusserten sie ein Grundstück in C._ an ihren Sohn D._ und überführten sie ein unüberbautes Baulandgrundstück in A._ von ihrem Geschäfts- in ihr Privatvermögen. B. Am 22. Mai 2008 veranlagte die Steuerkommission A._ die Eheleute X._ für die Kantons- und Gemeindesteuern 2003 mit einem steuerbaren Einkommen von Fr. 443'000.-- (wobei sie einen Kapitalgewinn aus der Beendigung der selbständigen Erwerbstätigkeit und der Hofübergabe von Fr. 387'680.-- zugrunde legte) und einem steuerbaren Vermögen von Fr. 478'000.--. Diese Veranlagung bestätigte das Verwaltungsgericht des Kantons Aargau in den hier wesentlichen Punkten kantonal letztinstanzlich mit Urteil vom 1. November 2010. C. Am 3. Januar 2011 haben die Eheleute X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie beantragen im Wesentlichen, das verwaltungsgerichtliche Urteil betreffend die Kantons- und Gemeindesteuern 2003 aufzuheben. Weiter seien bestimmte Feststellungen zu treffen. D. Das Kantonale Steueramt Aargau und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. Das beantragt auch das Verwaltungsgericht des Kantons Aargau im Hauptsächlichen; eventualiter stellt es den Antrag, die Angelegenheit zur weiteren Behandlung an die Steuerkommission A._ zu überweisen. Die Gemeinde A._ hat auf eine Vernehmlassung verzichtet.