Faits: A. X._ a été incorporé dans la protection civile en 1988. Le 1er janvier 2008, il a été nommé suppléant du commandant de l'Office intercommunal de protection civile de A._ (ci-après: l'Office intercommunal). La libération ordinaire de X._ aurait dû intervenir le 31 décembre 2008. Toutefois, par décision communiquée le 26 février 2009, X._ a obtenu le maintien de son incorporation dans la protection civile à titre volontaire avec effet au 1er janvier 2009. Le 21 octobre 2009, l'Office intercommunal a décidé de mettre fin pour le 30 octobre 2009 aux fonctions de X._ au sein de la protection civile en raison des dissensions qui existaient entre le commandant et ce dernier, et qui risquaient d'affecter le bon fonctionnement du service. Par décision du 16 décembre 2009, le Département de l'intérieur et de la mobilité du canton de Genève a rejeté l'opposition que l'intéressé avait déposée contre la décision du 21 octobre 2009. En tant que capitaine, X._ pouvait prétendre à une solde de 16 fr. par jour de service effectué, mais comme l'opposition ne faisait pas état de jours de service qui n'auraient pas été rémunérés, aucune indemnité ne lui était due. Le 18 janvier 2010, X._ a interjeté recours auprès du Tribunal administratif du canton de Genève contre la décision rendue le 16 décembre 2009, par le Département de l'intérieur et de la mobilité. Il concluait à la nullité, subsidiairement à l'annulation de la décision attaquée. Il a fait valoir en substance qu'il ne s'agissait pas d'un cas de libération ordinaire et que, hormis cette dernière hypothèse, les personnes engagées ne pouvaient être libérées que si elles le demandaient. Enfin, il a affirmé qu'il allait de soi qu'il devrait être maintenu dans son droit de percevoir une indemnité mensuelle brute de protection civile d'un montant de 890 fr., versée par la commune de B._. Par décision du 9 février 2010, la Présidente du Tribunal administratif a rejeté la demande de restitution d'effet suspensif. B. Par arrêt du 19 octobre 2010, le Tribunal administratif a rejeté le recours. Le recourant ne pouvait se prévaloir d'un droit à l'engagement d'une durée de trois ans et l'autorité pouvait le libérer de ses fonctions sans excéder son pouvoir d'appréciation. C. Agissant par la voie du recours constitutionnel subsidiaire pour violation du principe de la légalité et du droit d'être entendu, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 19 octobre 2010 par le Tribunal administratif du canton de Genève ainsi que "la décision rendue le 16 décembre 2009 par la Sécurité civile - Service de la protection civile". Le Tribunal administratif renonce à déposer des observations. Le Département de l'intérieur et de la mobilité conclut au rejet du recours.