Faits: Faits: A. A la fin 1989, Y._, envisageant de donner des actions Z._ SA à X._, fils du précédent mariage de sa femme, a contacté l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) afin de déterminer leur valeur. Plusieurs courriers ont été échangés à ce sujet, soit notamment les 9 et 16 novembre 1989, les 18 avril 1990 et 16 mai 1990. Le 15 février 1994, Y._ a donné à X._ 15'590 actions de la société susmentionnée. Dans sa déclaration d'impôt 1995-1996, X._ les a mentionnées dans l'état des titres pour un montant total de 4'209'300 fr. (15'590 x 270 fr.). La Commission d'impôt et recette de district de A._ a notifié à l'intéressé une décision de taxation du 15 juillet 1996 pour l'impôt sur les donations. Le montant imposable s'élevait à 4'209'300 fr. ce qui donnait, au taux de base de 7.5%, un impôt cantonal et communal de 631'350 fr. au total. X._ a élevé réclamation à l'encontre de cette décision de taxation. Dans une lettre du 22 août 1996, ladite Commission a maintenu sa taxation et a réclamé le versement du montant d'impôt qui n'était pas contesté, soit 185'500 fr. X._ ayant maintenu sa réclamation le 2 octobre 1996, le dossier a été transmis à l'Administration cantonale des impôts le 7 octobre suivant. Le 9 octobre 1996, cette Administration a confirmé la décision de taxation du 15 juillet 1996 tout en demandant à l'intéressé s'il entendait maintenir sa réclamation. Sans réponse de X._, l'Administration cantonale des impôts a rendu une décision le 24 juillet 1998 rejetant la réclamation. X._ ayant maintenu sa réclamation le 2 octobre 1996, le dossier a été transmis à l'Administration cantonale des impôts le 7 octobre suivant. Le 9 octobre 1996, cette Administration a confirmé la décision de taxation du 15 juillet 1996 tout en demandant à l'intéressé s'il entendait maintenir sa réclamation. Sans réponse de X._, l'Administration cantonale des impôts a rendu une décision le 24 juillet 1998 rejetant la réclamation. B. X._ a recouru à l'encontre de la décision sur réclamation auprès du Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif). Il a requis l'audition de trois témoins. Par lettre du 10 juillet 2002, le Tribunal administratif a interpellé l'Administration cantonale des impôts au sujet, notamment, de la prescription. Ladite Administration s'est prononcée par courrier du 9 août 2002. Le recourant a déposé un mémoire complémentaire le 3 novembre 2003 dans lequel il a demandé une expertise afin de déterminer la valeur des titres au jour de la donation. L'Administration s'est déterminée sur cette écriture le 27 novembre 2003. Les parties ont été entendues lors d'une audience le 2 décembre 2003. La section du Tribunal administratif saisie de ce dossier a jugé que la prescription était acquise pour la partie litigieuse de l'impôt, vu l'absence d'acte interruptif de prescription depuis la décision sur réclamation du 24 juillet 1998 ou depuis la réponse du 3 octobre 1998 de l'Administration cantonale des impôts au recours interjeté devant le Tribunal administratif. Cette conclusion constituant un changement de jurisprudence, la question devait être soumise à la procédure de coordination. Les juges, juges suppléants et assesseurs de la Chambre fiscale du Tribunal administratif ont été consultés le 9 mars 2004. La majorité d'entre eux a conclu qu'il fallait s'en tenir à la jurisprudence en vigueur jusque-là et que la prescription avait été interrompue. Cette décision liant la section du Tribunal administratif en charge du dossier, celle-ci a déclaré, dans son arrêt du 22 mars 2004, que la prescription avait été interrompue par "divers actes censés tendre au recouvrement de la créance (...) portés à la connaissance du contribuable, soit par l'Administration cantonale des impôts elle-même, soit par l'intermédiaire du tribunal (notamment la réponse de cette autorité au recours, du 3 octobre 1998, ou ses déterminations sur la prescription du 9 août 2002)". Ledit Tribunal n'a pas procédé aux mesures d'instruction requises et a rejeté le recours tant en ce qui concerne la valeur des actions que le taux d'imposition. B. X._ a recouru à l'encontre de la décision sur réclamation auprès du Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif). Il a requis l'audition de trois témoins. Par lettre du 10 juillet 2002, le Tribunal administratif a interpellé l'Administration cantonale des impôts au sujet, notamment, de la prescription. Ladite Administration s'est prononcée par courrier du 9 août 2002. Le recourant a déposé un mémoire complémentaire le 3 novembre 2003 dans lequel il a demandé une expertise afin de déterminer la valeur des titres au jour de la donation. L'Administration s'est déterminée sur cette écriture le 27 novembre 2003. Les parties ont été entendues lors d'une audience le 2 décembre 2003. La section du Tribunal administratif saisie de ce dossier a jugé que la prescription était acquise pour la partie litigieuse de l'impôt, vu l'absence d'acte interruptif de prescription depuis la décision sur réclamation du 24 juillet 1998 ou depuis la réponse du 3 octobre 1998 de l'Administration cantonale des impôts au recours interjeté devant le Tribunal administratif. Cette conclusion constituant un changement de jurisprudence, la question devait être soumise à la procédure de coordination. Les juges, juges suppléants et assesseurs de la Chambre fiscale du Tribunal administratif ont été consultés le 9 mars 2004. La majorité d'entre eux a conclu qu'il fallait s'en tenir à la jurisprudence en vigueur jusque-là et que la prescription avait été interrompue. Cette décision liant la section du Tribunal administratif en charge du dossier, celle-ci a déclaré, dans son arrêt du 22 mars 2004, que la prescription avait été interrompue par "divers actes censés tendre au recouvrement de la créance (...) portés à la connaissance du contribuable, soit par l'Administration cantonale des impôts elle-même, soit par l'intermédiaire du tribunal (notamment la réponse de cette autorité au recours, du 3 octobre 1998, ou ses déterminations sur la prescription du 9 août 2002)". Ledit Tribunal n'a pas procédé aux mesures d'instruction requises et a rejeté le recours tant en ce qui concerne la valeur des actions que le taux d'imposition. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt précité du Tribunal administratif du 22 mars 2004, sous suite de frais et dépens. Il invoque la violation de son droit à être jugé par un tribunal établi par la loi (art. 30 al. 1 Cst.), de son droit d'être entendu (art. 29 al. 2 Cst.) et de l'interdiction de l'arbitraire (art. 9 Cst.). Le Tribunal administratif s'en remet à justice. L'Administration cantonale des impôts conclut au rejet du recours. Le Tribunal administratif s'en remet à justice. L'Administration cantonale des impôts conclut au rejet du recours. D. Par ordonnance présidentielle du 25 mai 2004, la demande d'effet suspensif formulée par le recourant a été admise.