Faits: A. X._ est garde-chasse auxiliaire dans le canton du Jura. Le 6 octobre 2008, à A._, il est intervenu, dans le cadre d'une opération de surveillance, à l'encontre de Y._, soupçonné de braconnage. A cette occasion, il a tiré, à une distance de 16 m. environ, trois coups de feu en direction du véhicule occupé par Y._ au moyen d'un pistolet SIG 1220 et a volontairement heurté ce véhicule aux fins de l'immobiliser. Par ordonnance du 12 novembre 2008, le Procureur général du canton du Jura a ordonné le renvoi de l'intéressé devant l'autorité pénale compétente sous les préventions de mise en danger de la vie d'autrui, de contrainte (éventuellement de tentative de contrainte), d'abus d'autorité, de dommages à la propriété et d'infraction à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (loi sur les armes; LArm; RS 514.54). B. Le 14 octobre 2008, X._ a sollicité le bénéfice de l'assistance d'un avocat dans le cadre de la procédure pénale dirigée contre lui, en application de l'art. 58 de la loi jurassienne du 11 décembre 2002 sur la chasse et la protection de la faune sauvage (RS/JU 922.11; ci-après: la loi cantonale sur la chasse). Le Gouvernement de la République et canton du Jura (ci-après: le Gouvernement cantonal) a refusé cette requête, par décision du 24 février 2009, au motif que X._ avait gravement violé ses devoirs de fonction en portant et faisant usage d'une arme d'ordonnance lors de l'intervention du 6 décembre 2008, cette faute excluant la prise en charge de ses frais de défense. Saisi d'un recours dirigé contre la décision précitée du 24 février 2009 du Gouvernement cantonal, la Chambre administrative du Tribunal cantonal du canton du Jura (ci-après: le Tribunal cantonal) l'a rejeté, par arrêt du 9 juillet 2009. Il a retenu, en substance, que le législateur cantonal n'avait manifestement pas voulu accorder, dans le cadre de la loi cantonale sur la chasse, l'assistance judiciaire dans les cas de faute grave des fonctionnaires et employés de l'Etat et que X._ s'était rendu coupable d'une telle faute en portant et en faisant usage d'une arme de défense personnelle à l'occasion d'une opération de surveillance. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, avec suite de frais et dépens, principalement, d'admettre le recours et de le mettre au bénéfice de l'assistance d'un avocat, en la personne de Me Hubert Theurillat, dans la procédure pénale pendante, subsidiairement, d'annuler l'arrêt du Tribunal cantonal du 9 juillet 2009 et de renvoyer le dossier à cette autorité pour nouvelle décision aux sens des considérants à rendre. Il se prévaut du principe de la présomption d'innocence et se plaint de l'application arbitraire du droit cantonal. Le Tribunal cantonal renonce à formuler des observations et conclut au rejet du recours. Le Gouvernement cantonal conclut, avec suite de frais et dépens, au rejet du recours.