Sachverhalt: A. X._ (geb. 1949) schloss 1980 die Ausbildung zum eidgenössisch diplomierten Bücherexperten (heute: eidg. dipl. Wirtschaftsprüfer) ab. Seit 1991 war er Delegierter des Verwaltungsrates bzw. ab 1999 Verwaltungsratspräsident mit Einzelzeichnungsberechtigung der Y._ AG, an der er mit 98 % die Aktienmehrheit hält. Direktor der Y._ AG mit Kollektivunterschrift zu zweien war zwischen 1991 und 1997 A._. Die Y._ AG war in den Jahren 1989 bis 1994 bankengesetzliche und in den Jahren 1989 bis 1995 aktienrechtliche Revisionsstelle der inzwischen aufgelösten Kreditanstalt Z._ in Liquidation. Im Oktober 2007 stellte X._ (auf Grund des am 1. September 2007 in Kraft getretenen Revisionsaufsichtsgesetzes) bei der Eidgenössischen Revisionsaufsichtsbehörde ein Gesuch um Zulassung seines Einzelunternehmens X._ Revisions- und Treuhandbüro als Revisionsexperte sowie im November 2007 ein solches um persönliche Zulassung als Revisionsexperte. Am 23. November 2007 hiess die Eidgenössische Revisionsaufsichtsbehörde das persönliche Gesuch gut und der Beschwerdeführer wurde als Revisionsexperte ins Revisorenregister eingetragen. Nach einer summarischen Prüfung wurde sein Einzelunternehmen mit Verfügung vom 14. Dezember 2007 unter Vorbehalt der Einreichung weiterer Unterlagen provisorisch ebenfalls als Revisionsexperte zugelassen. Im Rahmen der weiteren Abklärungen erhielt die Eidgenössische Revisionsaufsichtsstelle Kenntnis von einem freisprechenden Urteil des Obergerichts des Kantons Zürich vom 14. Juli 2006 i.S. X._ gegen Staatsanwaltschaft des Kantons Zürich und Kreditanstalt Z._, das ein Urteil des Bezirksgerichts Zürich vom 7. Juli 2005 aufhob, in welchem X._ wegen mehrfachen Betruges und mehrfacher Urkundenfälschung für schuldig befunden worden war. Zur Kenntnis gelangte ihr weiter ein Urteil des Handelsgerichts des Kantons St. Gallen vom 15. November 2007 i.S. Kreditanstalt Z._ gegen Y._ AG (und andere), worin die Y._ AG verpflichtet wurde, unter solidarischer Haftbarkeit mit dem ehemaligen Bankdirektor und dem Verwaltungsratspräsidenten der Bank, der Kreditanstalt Z._ den Betrag von Fr. 6'969'900.- (zuzüglich Zinsen) zu bezahlen; die dagegen gerichteten Rechtsmittel wurden zunächst vom Kassationsgericht des Kantons St. Gallen und anschliessend vom Bundesgericht (Urteil 4A_65/2008 vom 3. August 2009) abgewiesen, soweit darauf eingetreten wurde. Mit Verfügung vom 17. Mai 2010 entzog die Eidgenössische Revisionsaufsichtsbehörde die X._ erteilte Zulassung als Revisionsexperte auf unbefristete Zeit. Das Gesuch um Zulassung des Einzelunternehmens als Revisionsexperte wies sie ebenfalls ab und hob dessen provisorische Zulassung als Revisionsexperte auf. Die entsprechenden Eintragungen im Revisorenregister wurden gelöscht. Eine von X._ und seinem Einzelunternehmen dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Urteil vom 17. September 2010 ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen X._ und sein Einzelunternehmen, das erwähnte Urteil des Bundesverwaltungsgerichts aufzuheben und die Eidgenössische Revisionsaufsichtsbehörde anzuweisen, ihn als Revisionsexperten im Register eingetragen zu belassen und seiner Einzelunternehmung die definitive Zulassung als Revisionsexpertin zu erteilen. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet. Die Eidgenössische Revisionsaufsichtsbehörde schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werde.