Sachverhalt: A. A._ (Beschwerdeführer) war seit Februar 1987 als Arbeitnehmer für die X._ Holding AG tätig. Im Zeitraum zwischen 1999 und Mai 2002 gehörten zur X._ Holding u.a. die Tochtergesellschaften X.Y._ AG, X.Z._ AG und X.Q._ (Beschwerdegegnerin). Der Verwaltungsrat dieser Gesellschaften bestand einerseits aus dem Beschwerdeführer und andererseits aus seinem Vater B._ und seinem Onkel C._, die das gesamte Aktienkapital hielten. Der Beschwerdeführer übte zudem in sämtlichen Gesellschaften die Funktion des Präsidenten und Delegierten des Verwaltungsrates aus. Der Beschwerdeführer hatte in den Jahren 1997 bis 1999 ein monatliches Bruttosalär von Fr. 18'000.-- bezogen. Am 21. Dezember 2000 schloss er mit der X._ Holding rückwirkend per 1. Januar 2000 einen neuen Arbeitsvertrag mit Befristung bis 31. Dezember 2002 und anschliessender Kündigungsmöglichkeit auf 6 Monate sowie einem monatlichen Bruttolohn von Fr. 40'000.--. Zudem wurde eine Abgangsentschädigung von drei Bruttojahressalären für den Fall der Entlassung durch den Arbeitgeber vereinbart. Mit Vertragsergänzung vom 25. Januar 2002 sicherte der Verwaltungsrat der X._ Holding dem Beschwerdeführer zu, dass er im Falle einer für ihn nicht annehmbaren Änderung der Besitzverhältnisse eine "Durchhalteprämie" in Höhe der im Arbeitsvertrag festgelegten Abgangsentschädigung beanspruchen könne. Gleichzeitig erklärte der Verwaltungsrat der X._ Holding die Tochtergesellschaften als für diesen Anspruch solidarisch haftbar. Mit Kaufvertrag vom 30. Mai 2002 veräusserten C._ und B._ die Aktien der X._ Holding an die R._ Holding AG. Ebenfalls am 30. Mai 2002 schloss der bisherige Verwaltungsrat der X._ Holding mit dem Beschwerdeführer eine Vereinbarung über die Aufhebung des Arbeitsvertrages vom 21. Dezember 2000 per 30. Juni 2002, wobei sich die X._ Holding zur Lohnfortzahlung bis Ende Juni 2002, zur Zahlung von Fr. 1'400'000.-- für die Altersvorsorge des Beschwerdeführers und zur Entrichtung einer Abgangsentschädigung von Fr. 600'000.-- verpflichtete. Zudem erklärten sich sämtliche Tochtergesellschaften der X._ Holding, so auch die Beschwerdegegnerin, für diese Verpflichtungen solidarisch haftbar. Am 3. September 2002 wurde über die X._ Holding, die X.Y._ und die X.Z._ der Konkurs eröffnet. Der Beschwerdeführer forderte in der Folge von der nicht konkursiten Beschwerdegegnerin die Erfüllung der im Aufhebungsvertrag aufgeführten Leistungen. B. Der Beschwerdeführer beantragte mit Klage vom 28. Januar 2005 beim Arbeitsgericht Zofingen, die Beschwerdegegnerin sei zu verpflichten, ihm Fr. 102'828.-- (Lohn bis Ende Juni 2002 inkl. Kinderzulage und Spesenersatz), Fr. 600'000.-- (Abgangsentschädigung) und Fr. 1'400'000.--, je nebst Zins, zu bezahlen, letzteren Betrag auf ein von ihm bestimmtes Freizügigkeitskonto. Das Arbeitsgericht wies die Klage am 24. März 2010 ab. Eine vom Beschwerdeführer dagegen erhobene Appellation wurde vom Obergericht des Kantons Aargau mit Urteil vom 17. Mai 2011 abgewiesen. Es kam zum Schluss, die Solidarverpflichtung für die Abgangsentschädigung des Beschwerdeführers sei von der Vertretungsmacht des Verwaltungsrats der Beschwerdegegnerin nicht gedeckt gewesen und damit unverbindlich. Der Beschwerdeführer als Präsident und Verwaltungsrat der Konzerngesellschaften müsse sich dies entgegenhalten lassen und auch die Genehmigung der Solidarverpflichtung durch den Verwaltungsrat bzw. die Generalversammlung ändere an der Unverbindlichkeit nichts. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, das genannte Urteil des Obergerichts aufzuheben und die Klage gutzuheissen. Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde und Bestätigung des angefochtenen Urteils; eventuell sei das Verfahren an die Vorinstanz zurückzuweisen zur Beurteilung der von ihr verrechnungsweise geltend gemachten Verantwortlichkeitsansprüche gegenüber dem Beschwerdeführer. Die Vorinstanz verzichtete auf eine Vernehmlassung. Die Parteien reichten Replik und Duplik ein.