Faits: A. X._ exploite le cabinet fiduciaire « X._ SA », à A._ (VD). Pendant de nombreuses années, il a été réviseur et représentant de la société B._ SA (en abrégé: la société), une entreprise générale de maçonnerie, à C._, dont B._ était administrateur-président. Le 28 mars 2000, l'Administration cantonale vaudoise des impôts a ouvert une procédure en soustraction fiscale pour les périodes 1995 à 1999. Le 8 février 2002, X._ a informé l'Administration cantonale que son client était parti définitivement à l'étranger sans lui remettre les documents requis et que la société B._ SA avait cessé toute activité au 31 décembre 2001. Le 27 juin 2003, l'Administration cantonale des impôts a notifié à la société, ainsi qu'à son représentant, une décision de rappel d'impôt et de taxation définitive dans laquelle elle a procédé à diverses reprises pour les années de référence, pour un total de 930'980 fr., ce qui portait les compléments d'impôts à payer à 295'622 fr. 45 pour les impôts cantonal et communal (en abrégé: ICC) et à 75'818 fr. 85 pour l'impôt fédéral direct (en abrégé: IFD) durant les périodes fiscales 1995 à 2000. Les amendes pour soustraction et tentative de soustraction fiscale durant les mêmes périodes s'élevaient en outre à 72'550 fr. pour l'ICC et à 88'700 fr. pour l'IFD. Elle a ensuite ouvert, le 15 décembre 2003, une procédure pour participation à une soustraction d'impôt à l'encontre de X._. Elle lui reprochait d'avoir comptabilisé pour plus de 900'000 fr. de charges non justifiées par l'usage commercial durant les exercices 1995 à 2000, d'avoir attesté, en tant que réviseur, que la comptabilité et les comptes de la société étaient conformes à la loi et d'avoir omis de déclarer plus de 900'000 fr. à titre de bénéfice de la société et de distributions dissimulées en faveur de l'actionnaire dans les déclarations d'impôt de la société et des époux B._. Elle précisait enfin qu'en vertu des dispositions légales applicables, il répondait solidairement du paiement de l'impôt. Le 30 novembre 2007, l'Administration cantonale des impôts a notifié à X._ un prononcé d'amendes pour participation à une soustraction fiscale, soit 31'000 fr. pour l'ICC et 36'000 fr. pour l'IFD. Elle lui a également notifié une décision d'appel en solidarité pour les compléments d'impôt fédéral direct dus par la société pour les années 1995 à 2000, soit 75'818 fr. 85, et par les époux B._ pour les années 1997 à 2001, soit 67'768 fr 80, ainsi que pour les impôts cantonal et communal dus par les époux B._ en 2001, soit 87'507 fr. 35. Par décisions du 25 mars 2009, l'Administration fiscale cantonale, statuant aussi en tant qu'Administration cantonale de l'impôt fédéral direct, a admis partiellement les réclamations formées par X._ en raison de la prescription. Elle a réduit le montant de l'amende dû pour l'IFD à 27'400 fr. et celui dû pour l'ICC à 19'600 fr. Les compléments d'impôts à payer en matière d'impôt fédéral direct ont également été réduits à 70'937 fr. 85 pour la société et à 62'883 fr. 25 pour les époux B._. Le 22 avril 2010, les recours formés par X._ à l'encontre des décisions du 25 mars 2009 ont été admis par le Tribunal cantonal du canton de Vaud (en abrégé : le Tribunal cantonal), qui a annulé les décisions attaquées. Tout en retenant que X._ avait gravement violé les dispositions du droit comptable, les juges ont considéré que rien ne permettait d'établir que le recourant avait eu l'intention de soustraire des impôts ou qu'il avait agi d'entente avec le contribuable principal, de sorte que les conditions de la participation à la soustraction fiscale n'étaient pas réalisées. Statuant sur le recours de l'Administration cantonale des impôts, le Tribunal fédéral, par arrêt du 4 novembre 2010 (2C_447/2010), a admis partiellement celui-ci en ce qui concernait l'IFD et l'a rejeté en ce qui concernait l'ICC. Il a ainsi annulé l'arrêt attaqué dans la mesure où il portait sur l'IFD des périodes fiscales 1995 à 2000 et renvoyé la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le Tribunal fédéral a retenu en bref que la participation de X._ à des soustractions fiscales consommées devait être reconnue pour les périodes fiscales 1995 à 2000 et qu'il appartenait à la juridiction cantonale d'examiner les conséquences pénales et fiscales de cette participation prévue par l'art. 177 LIFD. Par arrêt rendu sur renvoi du 17 janvier 2011, le Tribunal cantonal a admis le recours du contribuable en ce qu'il concernait l'ICC et annulé la décision sur réclamation du 25 mars 2009 au sujet de cet impôt. S'agissant de l'IFD, le recours de X._ a été partiellement admis, dès lors que la prescription absolue avait été atteinte pour 1995. La décision sur réclamation du 25 mars 2009 concernant l'IFD a été réformée en ce sens que X._ était reconnu solidairement responsable du montant de l'impôt fédéral direct durant les périodes fiscales 1996 à 2000, ce qui correspondait à un montant total de 98'116 fr. (69'249 fr. 95 pour la société et 28'866 fr. 25 pour les époux B._). L'amende a été fixée à 22'000 fr. X._ a recouru à l'encontre de l'arrêt du 17 janvier 2011 auprès du Tribunal fédéral, qui, par arrêt du 25 octobre 2011 (cause 2C_232/2011), a admis, en faveur du contribuable, une violation du droit d'être entendu. L'arrêt attaqué a donc été annulé en tant qu'il concernait l'IFD et la cause renvoyée au Tribunal cantonal pour instruction et nouvelle décision. B. Par arrêt du 31 mai 2012, le Tribunal cantonal, statuant sur la participation de X._ à une soustraction et à l'appel en solidarité de celui-ci pour les périodes fiscales 1995 à 2000 en matière d'IFD, a partiellement admis le recours de l'intéressé et réformé la décision sur réclamation du 25 mars 2009, au motif que les infractions portant sur les périodes fiscales 1996 et antérieures étaient prescrites et que l'audience tenue avait fait apparaître que les taxations de la société pour les années 1999 et 2000 étaient demeurées provisoires, de sorte que la prescription était aussi atteinte concernant celles-ci. Partant, le recourant était reconnu solidairement responsable des 23'110,95 fr. d'IFD soustraits par la société durant les périodes fiscales 1997 et 1998, correspondant à des reprises de 298'500 fr., et des 28'866,25 d'IFD soustraits par les époux B._ de 1997 à 2000, qui se référaient à des reprises de 524'000 fr. Le montant total de l'amende relative à l'impôt fédéral direct a été fixé à 13'100 fr. C. A l'encontre de cet arrêt, X._ dépose un recours en matière de droit public au Tribunal fédéral dans lequel il conclut à l'annulation de l'arrêt du 31 mai 2012 et au renvoi de la cause au Tribunal cantonal pour qu'il prenne une nouvelle décision dans le sens des considérants, subsidiairement à la réforme de cet arrêt dans le sens que l'assiette de l'IFD, dont il était reconnu responsable solidaire, soit réduite pour tenir compte des charges à fixer par estimation et de la déduction du surplus d'impôts découlant des reprises, les amendes étant, pour leur part, réduites d'au moins deux tiers des montants fixés dans l'arrêt entrepris. Le Tribunal cantonal se réfère à l'arrêt attaqué. Au terme de ses déterminations, l'Administration cantonale des impôts conclut au rejet du recours dans la mesure de sa recevabilité. L'Administration fédérale des contributions se rallie à la position de l'Administration cantonale et propose le rejet du recours. Le recourant a produit des observations finales, maintenant la position exprimée dans son recours.