Faits:
A. Par arrêté du 20 décembre 2006, le Conseil d'Etat de la République et canton de Genève a nommé Y._, désigné par le Grand Conseil, en qualité de membre du Conseil d'administration de X._ pour la période du 1er janvier 2007 au 31 décembre 2010.
Le 5 septembre 2007, le président du Conseil d'administration de X._, agissant au nom et pour le compte de celui-ci, a saisi le Conseil d'Etat d'une dénonciation à l'endroit de Y._ en concluant à la prise d'une sanction contre celui-ci. A l'issue d'une procédure administrative, le Conseil d'Etat a rendu un arrêté, le 2 mars 2009, par lequel il a révoqué le prénommé de sa qualité d'administrateur de X._ avec effet immédiat et prononcé que la décision était immédiatement exécutoire nonobstant recours.
B. Y._ a recouru devant le Tribunal administratif de la République et canton de Genève, en concluant à l'annulation de l'arrêté du Conseil d'Etat du 2 mars 2009. Préalablement, il demandait la restitution de l'effet suspensif à son recours.
Par décision du 19 mai 2009, la présidente du tribunal administratif a rejeté la requête en restitution de l'effet suspensif en tant qu'elle devait être traitée comme une demande de mesures provisionnelles.
C. Y._ interjette un recours en matière de droit public contre cette décision dont il demande l'annulation, en concluant, sous suite de dépens, à la restitution de l'effet suspensif à son recours formé devant la juridiction cantonale. Subsidiairement, il demande le renvoi de la cause au tribunal administratif pour nouvelle décision.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (<ref-law>; <ref-ruling> consid. 1 p. 117).
2. La décision attaquée, qui porte sur l'effet suspensif ou des mesures provisionnelles, est une décision incidente rendue dans une cause de droit public (<ref-law>). Elle concerne des rapports de travail de droit public au sens des art. 83 let. g LTF et 85 al. 1 let. b LTF. La notion de rapports de travail de droit public doit en effet être comprise dans un sens large et s'applique à tous les rapports de travail qui ne sont pas fondés sur le droit privé. Ce qui importe, c'est que l'intéressé soit engagé et rétribué par l'Etat, et soumis, comme le montre le présent cas, à un pouvoir disciplinaire (cf. arrêt 1D_15/2007 du 13 décembre 2007 consid. 1.2; voir aussi ALAIN WURZBURGER, in Commentaire de la LTF, Berne 2009, n. 97 ss ad <ref-law>).
3. 3.1 Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre des décisions qui concernent une contestation non pécuniaire. En matière pécuniaire, le recours n'est en principe recevable que si la valeur litigieuse atteint 15'000 fr. (<ref-law>). En cas de recours contre une décision préjudicielle ou incidente, la valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité compétente sur le fond (art. 51 al. 1 let. c LTF).
3.2 Le recourant ne dit rien sur la nature patrimoniale ou non du litige, pas plus qu'il ne dit mot sur une éventuelle valeur litigieuse.
3.2.1 Sur le fond, le recourant a conclu devant l'autorité précédente à l'annulation de l'arrêté du Conseil d'Etat du 2 mars 2009.
Un litige en cas de licenciement, lorsque le fonctionnaire ne conclut pas au versement d'une somme d'argent, mais demande à être rétabli dans son statut de fonctionnaire, est une contestation pécuniaire (arrêts 1C_547/2008 du 23 février 2009 consid. 2.1; 1C_116/2007 du 24 septembre 2007 consid. 2). Si l'on applique par analogie cette jurisprudence à la présente cause, on pourrait considérer que la conclusion prise sous-tend une contestation pécuniaire. Dans cette hypothèse, on ne saurait toutefois sans plus admettre que le seuil déterminant requis de 15'000 fr. est atteint s'agissant d'une activité, purement accessoire, de membre d'un conseil d'administration d'une entreprise de service public. Par ailleurs, comme cela ressort des constatations du jugement attaqué, la nomination du recourant en qualité de membre du conseil d'administration de X._ s'étend à la période du 1er janvier 2007 au 31 décembre 2010. Il n'est donc nullement établi que la rétribution de l'intéressé pour la période restante (mars 2009 à décembre 2010) atteigne 15'000 fr. La valeur litigieuse éventuelle ne résultant pas d'emblée des constatations de la décision attaquée (cf. <ref-law>) ou d'autres éléments ressortant du dossier, il n'appartient pas au Tribunal fédéral de procéder lui-même à des investigations pour déterminer cette valeur (art. 42 al. 1 et 2 LTF; arrêt 5A_621/2007 du 15 août 2008 consid. 1.2). Dès lors, en l'absence d'éléments suffisants et si l'on retenait qu'il s'agit en l'espèce d'une contestation pécuniaire, le recours serait irrecevable au regard de l'<ref-law>.
3.3 Par ailleurs, le recourant ne prétend pas que le recours soulève une question juridique de principe et qu'il doive pour cette raison être reçu sur la base de l'<ref-law>.
3.4 Il s'ensuit que le recours en matière de droit public est irrecevable.
4. 4.1 L'intitulé erroné d'un recours ne nuit cependant pas à son auteur, pour autant que les conditions de recevabilité du recours qui aurait dû être interjeté soient réunies (cf. <ref-ruling> consid. 1.2 p. 382; <ref-ruling> consid. 1.2 p. 302 s.; <ref-ruling> consid. 3.1 p. 399). Le recourant, qui fonde son recours sur l'arbitraire (art. 9 Cst.), invoque un grief d'ordre constitutionnel (cf. <ref-law>). Le recours peut donc être converti en recours constitutionnel subsidiaire (<ref-law>).
4.2 L'<ref-law> renvoie notamment aux art. 90 à 94 LTF, relatifs aux décisions attaquables. A l'instar des recours principaux, le recours constitutionnel subsidiaire ne peut donc en principe être formé que contre des décisions finales. Le recours contre des décisions partielles, préjudicielles ou incidentes ne peut ainsi être exercé qu'aux conditions prévues aux art. 91 à 93 LTF. La décision attaquée est indiscutablement une décision incidente en matière d'effet suspensif ou de mesures provisionnelles (supra consid. 2). Le recours constitutionnel n'est recevable contre une telle décision que si elle peut causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>).
4.2 L'<ref-law> renvoie notamment aux art. 90 à 94 LTF, relatifs aux décisions attaquables. A l'instar des recours principaux, le recours constitutionnel subsidiaire ne peut donc en principe être formé que contre des décisions finales. Le recours contre des décisions partielles, préjudicielles ou incidentes ne peut ainsi être exercé qu'aux conditions prévues aux art. 91 à 93 LTF. La décision attaquée est indiscutablement une décision incidente en matière d'effet suspensif ou de mesures provisionnelles (supra consid. 2). Le recours constitutionnel n'est recevable contre une telle décision que si elle peut causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>).
4.3 4.3.1 Selon la jurisprudence, un préjudice ne peut être qualifié d'irréparable que s'il cause un inconvénient de nature juridique; tel est le cas lorsqu'une décision finale même favorable à la partie recourante ne le ferait pas disparaître entièrement, en particulier lorsque la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral. En revanche, un dommage de pur fait, comme la prolongation de la procédure ou un accroissement des frais de celle-ci, n'est pas considéré comme irréparable (<ref-ruling> consid. 1.3.4 p. 36; <ref-ruling> consid. 2.1 p. 190). Il appartient au recourant d'alléguer et d'établir la possibilité que la décision préjudicielle ou incidente lui cause un dommage irréparable (<ref-ruling> consid. 1.2 p. 429), à moins que celui-ci ne fasse d'emblée aucun doute (<ref-ruling> consid. 2.3.1 p. 632; HANSJÖRG SEILER, Rückweisungsentscheide in der neueren Sozialversicherungspraxis des Bundesgerichts, in : Schaffhauser/ Schlauri [éd.], Sozialversicherungsrechtstagung 2008, St-Gall 2009, p. 19 ss).
4.3.2 Le recourant ne prétend pas qu'il subit un préjudice irréparable du fait qu'il est privé pendant la durée de la procédure des indemnités qu'il percevrait en sa qualité de membre du conseil d'administration. Il admet au contraire que « l'aspect financier lié à sa révocation peut (...) être réparé ultérieurement par une décision favorable ». Il voit en revanche un préjudice irréparable dans le fait qu'il ne peut pas assister aux séances du conseil d'administration et que, s'il obtient gain de cause, il ne pourra jamais être replacé dans la situation qui lui permettrait de prendre part aux séances manquées. En outre, dans la mesure où son mandat prend normalement fin le 31 décembre 2010, il suffirait, allègue-t-il, que l'instruction de la cause dure suffisamment longtemps pour que le but recherché par le Conseil d'Etat et, avec lui, la direction du Conseil d'administration, soit atteint.
Par cet allégué d'ordre tout à fait général, le recourant ne démontre pas l'existence d'un préjudice irréparable. Il ne précise pas quelles sont les conséquences qui résultent pour lui d'être privé pendant la procédure d'une participation à des séances - dont on ignore au demeurant la fréquence - du conseil d'administration de X._. En l'absence d'autres précisions, on doit admettre qu'il s'agit tout au plus d'un inconvénient de fait, qui ne saurait guère être considéré d'emblée comme un préjudice irréparable. A titre de comparaison, il a été jugé que le fait d'être écarté de son emploi par une mesure de suspension provisoire, ne cause pas, à lui seul, un préjudice de cette nature (cf. arrêt 1P.613/1999 du 24 janvier 2000 consid. 2c, à propos d'une mesure de ce genre avec maintien du traitement). Quant au fait qu'une décision risquerait d'être rendue après la fin de la période ordinaire de nomination, il s'agit d'une circonstance inhérente à la durée limitée du mandat. A priori, il ne se justifie pas d'apprécier différemment le préjudice irréparable en fonction du laps de temps restant entre le moment de la révocation et la durée normale de la fonction ou du mandat. D'ailleurs, si tel était le cas, il faudrait plutôt admettre, contrairement à ce que laisse entendre le recourant, que le préjudice serait d'autant plus important que ce laps de temps est long, et non l'inverse. Au demeurant, il n'y a pas de raison de supposer que l'autorité précédente ne statuera pas sur le fond avant la fin de l'année 2010.
Cela étant, il incombait au recourant d'alléguer et d'établir les raisons pour lesquelles la décision incidente lui cause, concrètement, un préjudice. L'existence d'un préjudice irréparable n'étant pas évidente et n'ayant pas été démontrée, la décision attaquée ne peut faire l'objet d'un recours fondé sur l'<ref-law>.
4.4 Quant à la lettre b de l'<ref-law> (motifs d'économie de la procédure), elle n'entre de toute évidence pas en ligne de compte. Le recourant ne fait du reste rien valoir à ce propos.
5. Il en résulte que le recours est irrecevable. Le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours, traité comme un recours constitutionnel subsidiaire, est irrecevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal administratif de la République et canton de Genève.
Lucerne, le 3 août 2009
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Ursprung Beauverd