Faits: A. Suite à la rupture, le 12 décembre 2000, du puits blindé du complexe Cleuson-Dixence, une procédure pénale a été engagée par le Ministère public contre C._, A._, D._ et E._. Par jugement du 6 août 2007, le juge II des districts d'Hérens et Conthey a notamment libéré A._ des accusations d'homicide par négligence, d'inondation et d'écroulement par négligence, d'entrave par négligence à la circulation publique ainsi qu'aux services d'intérêt général. Il l'a néanmoins condamné à une participation aux frais à hauteur de 844'135 fr., ses propres frais d'intervention restant au surplus à sa charge. Le 28 septembre 2007, A._ a déposé une déclaration d'appel contre ce jugement, requérant au surplus la mise en oeuvre d'une expertise métallurgique ainsi que le dépôt du rapport du professeur F._ du 25 septembre 2007, subsidiairement l'audition de son auteur. B. Par décision du 3 décembre 2007, la Présidente de la Cour pénale II du Tribunal cantonal du canton du Valais (ci-après: la présidente de la Cour pénale), B._, a rejeté la requête de complément d'instruction, à l'exception du dépôt du rapport du professeur F._. Elle a jugé qu'une nouvelle expertise métallurgique destinée à établir la cause de la rupture du puits et l'adéquation des réparations ordonnées n'était ni essentielle ni déterminante, le premier juge ayant reproché à A._ d'avoir décidé de remettre le puits en eau alors que les causes des fissures découvertes dès juillet 1999 n'étaient pas connues avec certitude et d'avoir eu conscience de la possibilité d'apparition de nouvelles fissures. Le 17 décembre 2007, A._ a demandé la récusation de B._. Le 7 janvier 2008, la Cour pénale II a rejeté cette requête. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler la décision de la Cour pénale II du 7 janvier 2008 ainsi que le jugement rendu par la même autorité le "5 février 2008" et enfin d'admettre la requête de récusation dirigée contre B._. Il se plaint d'une violation des art. 30 al. 1 Cst. et 6 par. 1 CEDH. Par lettre du 6 février 2008, A._ a fait savoir au Tribunal fédéral qu'il avait, lors des débats d'appel du 15 janvier 2008, formé une nouvelle requête de récusation dirigée cette fois contre la Cour elle-même. Vu le rejet de cette dernière, il a sollicité la suspension de la cause jusqu'à droit connu sur la décision du Tribunal cantonal sur cette nouvelle demande de récusation. Par ordonnance du 8 février 2008, le Président de la Ire Cour de droit public a fait droit à cette demande et a suspendu l'instruction du recours. Par courrier du 4 avril 2008, A._ a informé le Tribunal fédéral que la Cour pénale II avait rendu, le 1er février 2008, un jugement final portant notamment sur la question de la récusation. Il a indiqué vouloir déposer un recours contre ce prononcé auprès du Tribunal fédéral. Par ordonnance du 8 avril 2008, le Président de la Ire Cour de droit public a ordonné la reprise de l'instruction du recours. Il a estimé que l'affaire pouvait être traitée de manière séparée, quand bien même le dépôt d'un autre recours, dirigé contre le jugement final de la juridiction d'appel, avait été annoncé. La Cour pénale II s'est référée aux considérants de son jugement. B._ a pour sa part renoncé à déposer une réponse.