Faits: Faits: A. X._ occupe une fonction supérieure dans l'administration cantonale genevoise depuis le 1er janvier 1996. Son service dépend administra- tivement de la direction générale de la santé publique (cf. son cahier des charges). Le 4 novembre 2001, Y._, qui travaillait comme "secrétaire 2" dans le service de X._, a déposé contre ce dernier une plainte pour mobbing auprès de la Direction générale de l'Office du personnel de l'Etat (ci-après: l'Office du personnel). Conformément aux règles cantonales prévues en la matière, une enquête interne a été confiée à une personne n'appartenant pas à la fonction publique (ci-après: l'enquêteur). Après avoir rappelé la définition du mobbing et confronté la version des faits de chacun des protagonistes à la lumière des témoignages recueillis lors de l'instruction, l'enquêteur a conclu que la plainte déposée par Y._ pour atteinte à ses droits de la personnalité était fondée et a proposé qu'un blâme soit infligé à son supérieur. Cette position était justifiée de la manière suivante (rapport du 29 mai 2002, p. 14): "S'il a été constaté que Madame Y._ s'était déjà plainte de ses supérieurs avant la venue de X._ et qu'elle avait fait une dépression, il a également été constaté que X._ avait des carences en ce qui concerne l'établissement de liens relationnels avec ses collaborateurs. Le harcèlement peut être simplement la conséquence d'une maladresse relationnelle de personnes qui ne savent pas communiquer. Dans ce cas, elles peuvent reconnaître leurs erreurs, changer de comportement et présenter des excuses. Deux propositions ont été faites dans ce sens au mis en cause, en vue d'un arrangement à l'amiable, la plaignante étant disposée à retirer sa plainte en cas d'entente. X._ n'a pas souhaité aller dans ce sens. X._ peut être considéré comme un maladroit relationnel. Il n'est cependant pas possible de dire s'il était conscient ou non de la perception qu'avait de son attitude Madame Y._. Par contre, de par sa formation, il aurait dû constater et tenir compte de l'état psychique, psychosomatique et physique de Madame Y._ (...)". Le 10 juillet 2002, l'Office du personnel s'est entièrement rallié aux conclusions du rapport d'enquête et a constaté que la plainte dont il était saisi était fondée, en proposant qu'un blâme soit prononcé à l'encontre de X._. L'intéressé était rendu attentif au fait qu'il pouvait recourir contre cette "prise de position" auprès du Conseil d'Etat dans un délai de dix jours dès sa réception. X._ a fait usage de cette possibilité, en contestant aussi bien les faits retenus par l'Office du personnel que leur qualification juridique. Le Conseil d'Etat a rejeté ce recours dans une décision du 23 juillet 2003. Le 10 juillet 2002, l'Office du personnel s'est entièrement rallié aux conclusions du rapport d'enquête et a constaté que la plainte dont il était saisi était fondée, en proposant qu'un blâme soit prononcé à l'encontre de X._. L'intéressé était rendu attentif au fait qu'il pouvait recourir contre cette "prise de position" auprès du Conseil d'Etat dans un délai de dix jours dès sa réception. X._ a fait usage de cette possibilité, en contestant aussi bien les faits retenus par l'Office du personnel que leur qualification juridique. Le Conseil d'Etat a rejeté ce recours dans une décision du 23 juillet 2003. B. Par décision du 28 novembre 2003, la Direction générale de la santé a prononcé un blâme à l'encontre de X._, en s'appuyant sur les décisions précitées rendues respectivement par l'Office du personnel et le Conseil d'Etat. Suivant l'indication des voies de droit figurant au bas de la décision, X._ a porté le cas devant le Conseiller d'Etat en charge du Département de l'action sociale et de la santé (ci-après: le Conseiller d'Etat). A titre préalable, il demandait la récusation de cette autorité et la transmission du recours au Tribunal administratif comme objet de sa compétence, au motif que le Conseiller d'Etat avait déjà eu à connaître de sa cause en qualité de membre du collège gouvernemental, soit l'autorité de recours qui avait confirmé l'existence d'une atteinte aux droits de la personnalité de la plaignante. Subsidiairement, il concluait à l'annulation du blâme prononcé à son encontre. Par décision du 30 janvier 2004, le Conseiller d'Etat a confirmé la décision attaquée, en estimant que la voie du recours auprès du Tribunal administratif n'était pas ouverte pour contester le blâme litigieux qui apparaissait fondé au vu du rapport d'enquête. Par décision du 30 janvier 2004, le Conseiller d'Etat a confirmé la décision attaquée, en estimant que la voie du recours auprès du Tribunal administratif n'était pas ouverte pour contester le blâme litigieux qui apparaissait fondé au vu du rapport d'enquête. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler, sous suite de frais et dépens, la décision précitée du Conseiller d'Etat. Il soutient que cette autorité a violé son droit à une procédure équitable (art. 29 al. 1 Cst.) en ne se récusant pas et qu'elle a appliqué de manière arbitraire (art. 9 Cst.) les règles cantonales sanctionnant le mobbing. L'Office du personnel se rallie aux conclusions du Conseiller d'Etat, lequel conclut à l'irrecevabilité du grief tiré de l'arbitraire et au rejet du recours pour le surplus.