Sachverhalt: A. Die Y._ (Beschwerdegegnerin) ist eine Stiftung mit Sitz in Z._, unter anderem mit dem Zweck, Führungskräfte in professioneller Kommunikation und Motivationstechnik zu schulen. Präsident der Beschwerdegegnerin ist D._, Sohn und Alleinerbe des am 29. Dezember 2005 verstorbenen Gründers der Beschwerdegegnerin, B._. Die X._ Management AG (Beschwerdeführerin 2) gehört nach eigenen Angaben zu den führenden Anbietern von Management-Consulting und Management-Education in Europa. Deren Inhaber und Verwaltungsratspräsident ist seit 1984 Prof. Dr. A._ (Beschwerdeführer 1). B._, der als "Grandseigneur der Kommunikationsberatung" gilt, hatte den Wirtschaftskongress Q._ in R._ aufgebaut, der jährlich stattfand und im März 2005 zum 8. Mal durchgeführt wurde. Da sich B._ im Alter von 86 Jahren von diesem Kongress zurückziehen wollte, schlossen die Parteien am 11./21. November 2005 eine Vereinbarung zur Übernahme des Kongresses durch die Beschwerdeführer (Ziff. I). Gemäss Ziff. II.1 der Vereinbarung übertrugen die Beschwerdegegnerin und B._ der Beschwerdeführerin 2 "den Kongress und sämtliche damit zusammenhängenden Rechte mit Unterzeichnung des Vertrages." Ferner wurde eine Übergangszeit von drei Jahren vorgesehen (Ziff. III). Der 9. Kongress vom 24. und 25. März 2006 sollte noch von B._ und der Beschwerdegegnerin organisiert und durchgeführt werden, wobei die Beschwerdeführer als ihre Nachfolger eingeführt und präsentiert werden sollen (Ziff. III.1.1.). Ob bereits für diesen Kongress auch eine Co-Moderation mit dem Beschwerdeführer 1 vereinbart war, ist unter den Parteien umstritten. Der 10. Kongress im Jahr 2007 sollte durch die Beschwerdeführerin 1 auf deren Kosten durchgeführt werden, mit gemeinsamem Auftritt von B._ und des Beschwerdeführers 1 (Ziff. III.1.2). Der 11. Kongress im Jahr 2008 sollte auf gleiche Weise organisiert und vom Beschwerdeführer 1 geleitet werden, unter Mitwirkung von B._ (Ziff. III.1.3). Sodann wurde die weitere Verwendung des Namens "C._" geregelt (Ziff. IV). Unter dem Titel "Finanzen/Entschädigung" sah die Vereinbarung vor, dass die Beschwerdeführerin 1 der Beschwerdegegnerin für die Übertragung des Kongresses und sämtlicher damit zusammenhängender Rechte den Betrag von EUR 500'000.-- zuzüglich MwSt. bezahlt und der Gewinn aus dem Kongress 2006 noch an "C._" geht, welcher auch dessen Organisation durchführt (Ziff. V.1 und V.2 Abs. 3). Aus den Einnahmen der Kongresse 2007 - 2008 sind der Beschwerdegegnerin Royalties von 32 % abzüglich eines Verrechnungsbetrages von EUR 250'000.-- geschuldet (Ziff. V.2 Abs. 4). Ziff. V.3 lautet: "Sollte B._ die (Mit-)Organisation und (Mit-)Durchführung des 9. und 10. Kongresses bzw. die Mitwirkung beim 11. Kongress nicht möglich sein, so werden die jeweiligen Tätigkeiten von der X._ Management AG bzw. den von ihr bezeichneten Unternehmen oder Personen übernommen. Die Y._ und B._ stellen diesfalls sicher, dass die X._ Management AG unverzüglich alle Dokumentationen, Unterlagen, Adressen und Informationen zu Referenten und Medienkontakten etc. erhält, die sich noch im Besitz von B._ oder der Y._ befinden." Im Dezember 2005 bezahlte die Beschwerdeführerin 2 der Beschwerdegegnerin EUR 500'000.--. Als B._ am 29. Dezember 2005 verstarb, informierte D._ die Referenten und den Beschwerdeführer 1 umgehend darüber. Bereits ab Anfang Januar 2006 wurde er im Namen der Beschwerdegegnerin aktiv im Hinblick auf die Durchführung des Kongresses 2006. Nachdem am 13. Januar 2006 ein Telefongespräch zwischen D._ und dem Beschwerdeführer 1 stattgefunden hatte, dessen Inhalt umstritten ist, schrieb die Rechtsanwältin des Beschwerdeführers 1 und Verwaltungsrätin der Beschwerdeführerin 2, G._, am 17. Januar 2006 D._ bzw. der Beschwerdegegnerin, aufgrund der durch das plötzliche Ableben von B._ veränderten Situation und im Hinblick auf die Unsicherheiten bezüglich der Vorbereitung und Durchführung des neunten Kongresses verlange sie Zugang zu allen Dokumentationen, Unterlagen, Adressen und Informationen im Sinne von Ziff. V.3 der Vereinbarung. Sie unterstrich, dass alle Aktivitäten über die Beschwerdeführer abzuwickeln bzw. mit ihnen abzustimmen seien, und gab an, diese würden zu gegebener Zeit entscheiden, ob und allenfalls wie der neunte Kongress durchgeführt werde. D._ bzw. die Beschwerdegegnerin beharrten jedenfalls vorerst auf der Durchführung des Kongresses 2006. Dieser wurde jedoch mit Schreiben an die Referenten und Teilnehmer von anfangs Februar 2006 unter dem Logo beider Seiten, unterzeichnet jedoch nur durch Dr. G._ und E._ von der Beschwerdeführerin, abgesagt. Den Druck und Versand hat aber die Beschwerdegegnerin übernommen. D._ versandte ein eigenes Schreiben an die Referenten. Die Beschwerdeführerin gab in einer Pressemitteilung vom Februar 2006 die Übernahme des Kongresses ab 2007 bekannt. B. Am 12. Juni 2007 klagte die Beschwerdeführerin 2 beim Handelsgericht St. Gallen gegen die Beschwerdegegnerin auf Zahlung von Euro 500'000.-- zuzüglich Zins (Klage I). Die Beschwerdeführerin 2 verlangte damit den für die Übernahme des Wirtschaftskongresses bezahlten Betrag zurück und berief sich dabei auf Willensmängel hinsichtlich des Abschlusses der Vereinbarung vom 11./21. November 2005. Am gleichen Tag erhob auch die Beschwerdegegnerin Klage beim Handelsgericht des Kantons St. Gallen mit dem Rechtsbegehren, die Beschwerdeführer solidarisch zu verpflichten, ihr insgesamt EUR 718'519.06 nebst Zins zu bezahlen (Klage II). Die Beschwerdegegnerin verlangte damit Ersatz des aufgrund der Absage des Kongresses 2006 entgangenen Gewinns von EUR 517'228.18, Schadenersatz für Auslagen von EUR 15'130.-- und Ersatz des aus den Kongressen 2007/2008 entgangenen Gewinns von EUR 186'160.--. Das Handelsgericht sistierte das Verfahren bezüglich der Klage II bis zum Entscheid über die Klage I, die es mit Urteil vom 11. Mai 2009 (HG.2007.56) rechtskräftig abwies. Zur Begründung führte es namentlich aus, die Beschwerdeführer hätten ihr Recht zur Berufung auf Willensmängel zufolge Genehmigung des Vertrages verwirkt. Mit Entscheid vom 28. April 2011 hiess das Handelsgericht die Klage II teilweise gut und verpflichtete die Beschwerdeführer unter solidarischer Haftbarkeit, der Beschwerdegegnerin als Ersatz für den entgangenen Gewinn aus dem Kongress 2006 EUR 410'000.-- zuzüglich 5 % Zins seit dem 11. Dezember 2006 zu bezahlen. Im Mehrbetrag wies es die Klage ab. C. Die Beschwerdeführer beantragen dem Bundesgericht mit Beschwerde in Zivilsachen, den Entscheid des Handelsgerichts vom 28. April 2011 aufzuheben und die Klage abzuweisen. Eventuell sei die Sache zur Beweisabnahme bzw. zu neuer Beweiswürdigung an das Handelsgericht St. Gallen zurückzuweisen, subeventuell zur Bestimmung der Höhe des Schadenersatzes. Mit Präsidialverfügung vom 5. Juli 2011 wurde das Gesuch um aufschiebende Wirkung abgewiesen. Die Beschwerdegegnerin beantragt in ihrer Vernehmlassung, die Beschwerde abzuweisen und den Entscheid des Handelsgerichts zu bestätigen. Das Handelsgericht hat auf Vernehmlassung verzichtet.