Faits: A. G._ était domicilié à C._ (FR). Le 4 août 2009, alors qu'il se trouvait en séjour à L._, il a dû être transporté en ambulance à l'hôpital X._ par l'entreprise Y._ AG. Le 21 août 2009, l'entreprise lui a facturé pour cette prestation, après déduction de la participation de l'assurance obligatoire de maladie, le montant de 1'667 fr. 75. Après deux rappels le 30 septembre respectivement le 10 novembre 2009, la créancière a intenté le 9 février 2010 une poursuite contre G._. Le 26 avril 2010, elle a déposé une réquisition de continuer la poursuite. L'Office des poursuites de Z._ a rejeté sa réquisition en date du 3 mai 2010 au motif que G._ était décédé le 10 janvier 2010. Le 26 juillet 2010, le Service de l'action sociale (SAS) du canton du Valais a communiqué à la Direction de la santé et des affaires sociales du canton de Fribourg (ci-après: la Direction) un avis d'assistance pour cas d'urgence. La direction a formé opposition le 12 août 2010, en refusant de prendre en charge le montant de 1'667 fr. 75 au motif qu'il s'agissait d'une dette de la succession. Le 27 août 2010, la Justice de paix du cercle de Z._ a avisé le SAS que la succession avait été répudiée. Le SAS a rejeté l'opposition le 28 septembre 2010. B. L'Etat de Fribourg a recouru contre la décision sur opposition devant le Conseil d'Etat valaisan. Celui-ci a transmis la cause au Tribunal cantonal du Valais, comme objet de sa compétence. Statuant par arrêt du 11 février 2011, le tribunal a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, l'Etat de Fribourg demande au Tribunal fédéral d'annuler cet arrêt. Le Tribunal cantonal et le Conseil d'Etat du canton du Valais concluent au rejet du recours.