Faits:
A. X._ exploite le cabinet fiduciaire « X._ SA », à A._ (VD). Pendant de nombreuses années, il a été réviseur et représentant de la société B._ SA (en abrégé: la société), entreprise générale de maçonnerie, à C._, dont B._ était administrateur-président.
A.a Dans le cadre de la procédure en soustraction fiscale ouverte pour les périodes 1995 à 1999 par l'Administration cantonale vaudoise des impôts (en abrégé: l'Administration cantonale), le 28 mars 2000, X._ a informé l'Administration cantonale que son client était parti définitivement à l'étranger sans lui remettre les documents requis et que la société B._ SA avait cessé toute activité au 31 décembre 2001.
Le 27 juin 2003, l'Administration cantonale des impôts a notifié à la société, ainsi qu'à son représentant, une décision de rappel d'impôt et de taxation définitive dans laquelle elle avait procédé à diverses reprises pour les années de référence ou de calcul 1993 à 2000, pour un total de 930'980 fr., ce qui portait les compléments d'impôts à payer à 295'622 fr. 45 pour les impôts cantonal et communal et à 75'818 fr. 85 pour l'impôt fédéral direct, durant les périodes fiscales 1995 à 2000. Les amendes pour soustraction et tentative de soustraction fiscale durant les mêmes périodes s'élevaient en outre à 72'550 fr. pour les impôts cantonal et communal et à 88'700 fr. pour l'impôt fédéral direct.
Elle a ensuite ouvert, le 15 décembre 2003, une procédure pour participation à une soustraction d'impôt à l'encontre de X._. Elle lui reprochait d'avoir comptabilisé pour plus de 900'000 fr. de charges non justifiées par l'usage commercial durant les exercices 1995 à 2000, d'avoir attesté, en tant que réviseur, que la comptabilité et les comptes de la société étaient conformes à la loi et d'avoir omis de déclarer plus de 900'000 fr. à titre de bénéfice de la société et de distributions dissimulées en faveur de l'actionnaire dans les déclarations d'impôt de la société et des époux B._. Elle précisait enfin qu'en vertu des dispositions légales applicables, il répondait solidairement du paiement de l'impôt.
A.b Le 30 novembre 2007, l'Administration cantonale des impôts a notifié à X._ un prononcé d'amendes pour participation à une soustraction fiscale, soit 31'000 fr. pour les impôts cantonaux et communaux et 36'000 fr. pour l'impôt fédéral direct. Elle a également notifié une décision d'appel en solidarité pour les compléments d'impôt fédéral direct dus par la société pour les années 1995 à 2000, soit 75'818 fr. 85 et par les époux B._ pour les années 1997 à 2001, soit 67'768 fr 80, ainsi que pour les impôts cantonal et communal dus par les époux B._ en 2001, soit 87'507 fr. 35.
Après avoir instruit la réclamation déposée par X._, l'Administration fiscale cantonale, statuant aussi en tant qu'Administration cantonale de l'impôt fédéral direct, a admis celle-ci partiellement, par décisions du 25 mars 2009. Confirmant que X._ avait agi intentionnellement et non par négligence, elle a toutefois tenu compte de la prescription et a réduit le montant de l'amende dû pour l'impôt fédéral direct à 27'400 fr. et celui dû pour les impôts cantonaux et communaux à 19'600 fr. Les compléments d'impôts à payer en matière d'impôt fédéral direct ont également été réduits à 70'937 fr. 85 pour la société et à 62'883 fr. 25 pour les époux B._; quant aux impôts cantonal et communal dus par ces derniers en 2001, ils ont été fixés à 80'921 fr. 70.
A.c Le 27 avril 2009, X._ a recouru auprès du Tribunal cantonal du canton de Vaud à l'encontre des décisions du 25 mars 2009, en concluant principalement à l'annulation des amendes pour défaut de participation aux infractions qu'auraient pu commettre les contribuables principaux et au refus de l'appel en solidarité. Il a été entendu par la juridiction cantonale le 15 avril 2010.
Par arrêt du 22 avril 2010, le Tribunal cantonal a admis le recours, tant en matière d'impôt fédéral direct, qu'en ce qui concerne les impôts cantonal et communal, et a annulé les décisions sur réclamation du 25 mars 2009 relatives à ces impôts. Il a retenu en bref qu'il ressortait de la décision de rappel d'impôt du 27 juin 2003, devenue exécutoire et définitive, que le contribuable principal, parti sans laisser d'adresse en cours de procédure, avait violé de manière fautive son obligation de collaborer à la taxation. En comptabilisant des charges sans requérir les justificatifs correspondants, X._ avait certes gravement violé les dispositions du droit comptable (art. 662a et 663 CO), mais rien ne permettait d'établir que le recourant avait eu l'intention de soustraire des impôts au sens des art. 177 de la loi fédérale sur l'impôt fédéral direct (LIFD; RS 642.11) et 244 de la loi vaudoise sur les impôts cantonaux du 4 juillet 2000 (LI; RSVD 642.11) ou qu'il avait agi d'entente avec le contribuable principal, de sorte que les conditions de la participation à la soustraction fiscale n'étaient pas réalisées.
A.d Statuant sur le recours de l'Administration cantonale des impôts dans son arrêt du 4 novembre 2010 (2C_447/2010), le Tribunal fédéral a admis partiellement celui-ci en ce qui concernait l'impôt fédéral direct et l'a rejeté en ce qui concernait les impôts cantonal et communal. Il a ainsi annulé l'arrêt attaqué dans la mesure où il portait sur l'impôt fédéral direct des périodes fiscales 1995 à 2000 et renvoyé la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants, en précisant qu'il appartiendrait à ce dernier de statuer à nouveau sur les frais de la procédure cantonale. Le Tribunal fédéral a retenu en bref que la participation de X._ à des soustractions fiscales consommées devait être reconnue pour les périodes fiscales 1995 à 2000 et qu'il appartenait à la juridiction cantonale d'examiner les conséquences pénales et fiscales de cette participation prévue par l'art. 177 LIFD. Le recours devait en revanche être rejeté dans la mesure où il portait sur la période fiscale 2001-2002, tant en ce qui concernait l'impôt fédéral que les impôts cantonaux et communaux. Cet arrêt a été notifié aux parties le 2 décembre 2010.
B. Le 29 décembre 2010, le Juge instructeur du Tribunal cantonal a communiqué à X._ personnellement et à l'Administration cantonale la composition de la Cour, soit la même que celle ayant statué dans l'arrêt précédent du 22 avril 2010, mais sans la greffière.
Par arrêt du 17 janvier 2011, le Tribunal cantonal a admis le recours du 27 avril 2009 en tant qu'il concernait l'impôt cantonal et communal et annulé la décision sur réclamation du 25 mars 2009 dans cette mesure. En tant qu'il concernait l'impôt fédéral direct, il a admis partiellement le recours du 27 avril 2009 et réformé la décision sur réclamation en ce sens que X._ était reconnu solidairement responsable du montant de l'impôt fédéral direct durant les périodes fiscales 1996 à 2000, soit 98'116 fr. (69'249 fr. 95 pour la société et 28'866 fr. 25 pour les époux B._). Le montant total de l'amende relative à l'impôt fédéral direct a été fixé à 22'000 fr. La juridiction cantonale a également mis un émolument de 3'500 fr. à la charge de X._ et ne lui a pas alloué de dépens.
Dans une lettre du 8 février 2011 adressée au Tribunal cantonal, le mandataire de X._, qui avait déjà représenté ce dernier dans la procédure cantonale précédente et devant le Tribunal fédéral, s'est plaint du fait que l'arrêt avait été notifié personnellement à son client, plutôt qu'à son étude. Partant, le Tribunal cantonal a notifié aux parties un nouvel arrêt, daté du 9 février 2011, avec la mention "remplace et annule l'arrêt notifié le 17 janvier 2011".
C. Agissant par la voie du recours en matière de droit public auprès du Tribunal fédéral , X._ conclut, avec dépens:
"Principalement:
L'arrêt rendu le 9 février 2011 par la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud est annulé, la cause étant renvoyée à cette autorité pour qu'elle prenne une nouvelle décision après avoir permis au recourant de se déterminer oralement au cours d'une audience à appointer. Des dépens à dire de Justice mais s'élevant au moins à Fr. 2'500.- sont alloués au recourant en instance cantonale.
Subsidiairement:
L'arrêt rendu le 9 février 2011 par la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud est réformé dans le sens que l'assiette de l'impôt fédéral direct dont le recourant est reconnu responsable solidaire est réduite pour tenir compte de la déduction du surplus d'impôts découlant des reprises entreprise(s) et les amendes sont réduites selon ce que Justice dira, mais au minimum réduite de deux tiers du montant ressortant de l'arrêt entrepris. Des dépens à dire de Justice mais s'élevant au moins à Fr. 2'500.- sont alloués au recourant en instance cantonale. "
Le Tribunal cantonal se réfère à son arrêt. L'Administration cantonale des impôts a renoncé à se déterminer sur les griefs tirés de la violation du droit d'être entendu et a présenté des observations sur le fond, au terme desquelles elle conclut au rejet du recours dans la mesure où il est recevable. L'Administration fédérale des contributions s'est déterminée sur la quotité de l'amende et s'est ralliée, pour le surplus, aux observations de l'Administration cantonale et à l'arrêt attaqué. Elle propose dès lors de rejeter le recours. Le recourant a pu se déterminer sur ces écritures et a maintenu ses conclusions.
Considérant en droit:
1. 1.1 Dans son arrêt précédent du 4 novembre 2010 (2C_447/2010), le Tribunal fédéral a tranché définitivement la question de la participation du recourant aux soustractions fiscales reprochées aux époux B._ dans le cadre des décisions de taxation définitives et exécutoires du 27 juin 2003, en ce qui concerne l'impôt fédéral direct pour les périodes fiscales 1995 à 2000. Il a cependant constaté que cette participation ne pouvait être retenue en ce qui concerne les impôts cantonal et communal (consid. 5), de sorte que ces impôts n'étaient plus litigieux devant le Tribunal cantonal qui était lié par les considérants de cet arrêt. Or, la juridiction cantonale a formellement statué sur ce point en prononçant, aux chiffres I et II du dispositif de l'arrêt attaqué:
"I. Le recours formé le 27 avril 2009 est admis en tant qu'il concerne l'impôt cantonal et communal.
II. La décision sur réclamation qui concerne l'impôt cantonal et communal, rendue le 25 mars 2009 par l'ACI, est annulée."
Il n'y a donc pas lieu de tenir compte des chiffres I et II du dispositif de l'arrêt entrepris, qui sont sans objet, de même que les conclusions du recourant qui s'y rapportent. Le présent litige est ainsi limité aux questions renvoyées par le Tribunal fédéral dans son arrêt du 4 novembre 2010, soit les conséquences pénales et fiscales prévues par l'art. 177 LIFD, de la participation du recourant aux soustractions fiscales relatives à l'impôt fédéral direct pour les périodes fiscales 1996 à 2000, le Tribunal cantonal ayant constaté à juste titre que les actes de soustraction pour l'année 1995 étaient actuellement atteints par la prescription absolue (cf. art. 184 al. 2 LIFD).
1.2 Déposé en temps utile (cf. art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) en matière d'impôt fédéral direct et rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), le recours a été formé par le contribuable destinataire de la décision attaquée, qui a un intérêt digne de protection à son annulation ou sa modification (cf. art. 89 al. 1 LTF). Il y a lieu dès lors d'entrer en matière sur le présent recours.
2. Le recourant reproche tout d'abord au Tribunal cantonal d'avoir violé les art. 29 al. 2 Cst. et 6 CEDH, en refusant de l'entendre personnellement, voire de l'interpeller, avant de rendre son arrêt. Il se plaint également d'une violation de son droit d'être entendu en raison de la composition de la Cour cantonale et de l'absence de motivation sur la question de l'adaptation de la provision pour impôts qu'il avait demandée dans son mémoire de réplique du 11 septembre 2009.
2.1 Le droit d'être entendu est une garantie constitutionnelle de nature formelle, dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (ATF 137 I 195 consid. 2.2 p. 197). Ce moyen doit par conséquent être examiné en premier lieu (ATF 124 I 49 consid. 1 p. 50) et avec un plein pouvoir d'examen (ATF 127 III 193 consid. 3 p. 194 et la jurisprudence citée).
Le droit d'être entendu de l'art. 29 al. 2 Cst. doit permettre à l'intéressé de s'exprimer sur des éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique (ATF 135 II 286 consid. 5.1 p. 293; 133 I 270 consid. 3.1 p. 277).
2.2 La procédure réprimant la soustraction fiscale en matière d'impôt fédéral direct est une procédure à caractère pénal à laquelle l'art. 6 CEDH est applicable (ATF 121 Ib 257 consid. 4 p. 264; 119 Ib 311, consid. 2 p. 314; XAVIER OBERSON, Droit fiscal suisse, 3ème éd. Bâle 2007, § 26 n. 4 p. 505); RICHNER, FREI, KAUFMANN, Handkommentar zum DBG, 2ème éd. Zurich 2009, n. 12 ad art. 175 LIFD). Il en résulte, pour le contribuable mis en cause, un droit d'être entendu personnellement par la juridiction cantonale (ATF 119 Ib 311 consid. 7 p. 331 ss). Le droit de l'accusé de participer aux débats découle aussi des art. 6 § 3 let. d CEDH et 14 al. 3 let. d du pacte international relatif aux droits civils et politiques, en vigueur pour la Suisse depuis le 18 septembre 1992 (Pacte ONU II; RS 0.103.2; arrêt 2A.617/1998 du 30 mars 2000, consid. 2b et les références citées, publié in EuGRZ 200 p. 453 ss). Cette exigence doit cependant être modérée en l'espèce, dès lors qu'il s'agissait d'un renvoi et que le recourant avait déjà été entendu par l'autorité de recours le 15 avril 2010. La situation est ainsi comparable au cas où il n'est pas nécessaire d'avoir des débats oraux, si aucune demande formelle n'est présentée (ATF 134 I 140 consid. 5.2 et 5.3 p. 147 ss), la possibilité de s'exprimer par écrit étant suffisante (cf. arrêt 8C_239/2010 du 9 mai 2011, consid 2.4.3).
2.3 En l'espèce, la cause a été renvoyée à la juridiction cantonale, pour qu'elle examine les conséquences fiscales et pénales découlant de l'art. 177 LIFD. Avant de statuer à nouveau, le Tribunal cantonal devait donc, pour respecter le droit d'être entendu du recourant, lui donner une nouvelle occasion de s'exprimer (ATF 119 Ia 136 consid. 2e p. 139), à tout le moins par écrit (cf. supra consid. 2.2). La possibilité pour le recourant de se prononcer était d'autant plus nécessaire que la juridiction cantonale devait fixer le montant de l'amende en appréciant le degré de la faute commise (cf. art. 177 al. 2 LIFD). Il lui appartenait de tenir compte du comportement personnel du recourant et du temps relativement long qui s'est écoulé depuis les actes de participation reprochés à ce dernier (cf. RICHNER, FREI, KAUFMANN, op. cit. n. 20 ad art. 177, avec renvoi aux n. 110 ss ad art. 175 LIFD). A cela s'ajoute que l'amende prononcée sur la base de l'art. 177 LIFD ne dépend plus du montant de l'impôt soustrait, qui n'est pris en compte que pour déterminer si l'on est en présence d'un cas grave (PIETRO SANSONETTI, in Commentaire de la loi fédérale sur l'impôt fédéral direct, n. 26 et 28 ad art. 177 LIFD, p. 1513), de sorte que les circonstances personnelles jouent un rôle déterminant. Celles-ci ont d'ailleurs pu se modifier depuis l'arrêt précédent du Tribunal cantonal du 22 avril 2010. On ne saurait ainsi admettre que le droit d'être entendu du recourant a été respecté en raison de son audition du 15 avril 2010 devant cette juridiction.
Sur ce point, il faut constater qu'après la notification de l'arrêt du Tribunal fédéral, le 2 décembre 2010, le Juge instructeur s'est borné à annoncer la composition de la Cour, par lettre du 29 décembre 2010 adressée au recourant personnellement et non au mandataire qui le représentait. Il en a été de même de l'arrêt qui a suivi peu de temps après, de sorte que l'on ne saurait reprocher au recourant de n'avoir pas contacté de suite son avocat ou agi lui-même. Le mandataire n'a donc pris connaissance du fait que le Tribunal cantonal avait statué que par son client qui lui a transmis l'arrêt du 17 janvier 2011, remplacé ensuite par l'arrêt du 9 février 2011, alors dûment notifié. L'intéressé n'a ainsi eu aucune occasion de demander une audience, ni à fortiori de s'exprimer par écrit, de sorte qu'il y a eu manifestement violation de son droit d'être entendu. Son recours en matière de droit public auprès du Tribunal fédéral n'est par ailleurs pas de nature à réparer cette violation, dans la mesure où le pouvoir d'examen de ce dernier n'est pas le même que celui de la juridiction cantonale (art. 105 al. 1 LTF; ATF 135 I 279 consid. 2.6.1 p. 285; 133 I 201 consid. 2.2 p. 204).
3. 3.1 Il s'ensuit que le recourant avait en tout cas le droit de s'exprimer avant que la juridiction cantonale ne rende son nouvel arrêt. Le recours doit dès lors être admis sur ce point, sans qu'il soit nécessaire d'examiner les autres griefs de violation du droit d'être entendu soulevés. L'arrêt attaqué doit donc être annulé en tant qu'il porte sur l'impôt fédéral direct (cf. supra consid. 1.1) et l'affaire renvoyée au Tribunal cantonal pour instruction et nouvelle décision.
3.2 Les frais judiciaires doivent être mis à la charge du canton de Vaud, dont l'intérêt pécuniaire est en cause (art. 66 al. 4 LTF). Celui-ci versera également une indemnité au recourant à titre de dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé en tant qu'il porte sur l'impôt fédéral direct.
2. L'affaire est renvoyée au Tribunal cantonal pour instruction et nouvelle décision.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du canton de Vaud.
4. Le canton de Vaud versera au recourant une indemnité de 2'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué au mandataire du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.
Lausanne, le 25 octobre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat