Faits: Faits: A. Le 7 mars 2001, le Conseil d'Etat du canton de Genève a ordonné une enquête disciplinaire pour différents manquements aux devoirs de service à l'encontre de X._, alors administrateur de la prison Y._, affecté ultérieurement à Z._, qui dépendait de la Chancellerie d'Etat. Le 30 mars 2001, le Président du Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a dénoncé les faits reprochés à l'intéressé au Procureur général comme pouvant être constitutifs d'infractions pénales poursuivies d'office. Au plan administratif, l'enquête disciplinaire a conduit au prononcé d'un avertissement le 11 février 2004, confirmé sur recours le 27 mai 2004 par le Chancelier d'Etat. Au plan pénal, la procédure a été classée le 22 octobre 2004 par le Procureur général et la Chambre d'accusation a mis X._ au bénéfice d'un non-lieu le 27 janvier 2005. Au plan administratif, l'enquête disciplinaire a conduit au prononcé d'un avertissement le 11 février 2004, confirmé sur recours le 27 mai 2004 par le Chancelier d'Etat. Au plan pénal, la procédure a été classée le 22 octobre 2004 par le Procureur général et la Chambre d'accusation a mis X._ au bénéfice d'un non-lieu le 27 janvier 2005. B. Par requête du 19 avril 2005 adressée au Département de justice, police et sécurité du canton de Genève (devenu entre-temps le Département des institutions; ci-après: le Département cantonal), X._ a sollicité la prise en charge de la note de frais et d'honoraires de son conseil du 4 avril 2005, par 62'007 fr. 10. Le 15 septembre 2005, le Département cantonal a rejeté la requête, tant pour les frais occasionnés par la procédure pénale que pour les frais relatifs à la procédure administrative. Le 20 octobre 2005, X._ a introduit par devant le Tribunal administratif une action tendant à ce que l'Etat de Genève soit condamné à lui verser la somme de 62'007 fr. 10 plus intérêts. Statuant par arrêt du 14 février 2006, le Tribunal administratif a déclaré cette demande irrecevable. Il a retenu en substance qu'au vu de l'issue de l'enquête disciplinaire, il était exclu que l'Etat de Genève prenne en charge les frais de défense pour la procédure administrative. Quant aux frais liés à la procédure pénale, il a considéré qu'il n'incombait pas à l'Etat de Genève de les assumer, faute d'une base légale expresse. Les autorités pénales avaient agi "motu proprio" pour élucider des faits paraissant constitutifs de gestion déloyale des intérêts publics et le non-lieu prononcé n'était pas de nature à fonder une obligation de l'Etat de rembourser les frais d'avocat encourus. Le 20 octobre 2005, X._ a introduit par devant le Tribunal administratif une action tendant à ce que l'Etat de Genève soit condamné à lui verser la somme de 62'007 fr. 10 plus intérêts. Statuant par arrêt du 14 février 2006, le Tribunal administratif a déclaré cette demande irrecevable. Il a retenu en substance qu'au vu de l'issue de l'enquête disciplinaire, il était exclu que l'Etat de Genève prenne en charge les frais de défense pour la procédure administrative. Quant aux frais liés à la procédure pénale, il a considéré qu'il n'incombait pas à l'Etat de Genève de les assumer, faute d'une base légale expresse. Les autorités pénales avaient agi "motu proprio" pour élucider des faits paraissant constitutifs de gestion déloyale des intérêts publics et le non-lieu prononcé n'était pas de nature à fonder une obligation de l'Etat de rembourser les frais d'avocat encourus. C. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 14 février 2006 et de renvoyer la cause à cette autorité pour nouvelle décision dans le sens des considérants. Il dénonce une violation du principe de l'interdiction de l'arbitraire. Le Tribunal administratif persiste dans les considérants et le dispositif de son arrêt et renonce à déposer une détermination. Le Département cantonal conclut à l'irrecevabilité du recours, subsidiairement à son rejet.