Faits:
A. Par jugement du 18 mars 2008 rendu par la Cour d'assises du canton de Neuchâtel, A._ a été condamné à une peine privative de liberté pour diverses infractions commises dans le cadre de son activité de tuteur au préjudice de plusieurs de ses pupilles.
B._ a notamment été victime des agissements illicites de A._ lorsque celui-ci était son tuteur.
B. Le 3 juillet 2007, B._ a déposé devant le Tribunal administratif une action de droit administratif dirigée contre l'Etat de Neuchâtel. Il concluait au versement par le défendeur de 17'772 fr. 80 à titre de réparation du dommage subi en raison des actes de A._.
Ce dernier a participé à ce procès en qualité d'intervenant.
Les parties principales ayant conclu un accord extrajudiciaire, B._ a, le 30 mars 2010, retiré sa demande. Pour sa participation au procès en qualité d'intervenant, A._ a, par courrier du 17 mai 2010, requis une indemnité de dépens, déclarant s'en remettre à l'appréciation du Tribunal administratif quant à la quotité.
Par décision du 2 juillet 2010, le Tribunal administratif a ordonné le classement de l'affaire. Il a statué sans frais et n'a pas alloué de dépens.
C. Le 3 septembre 2010, A._ a formé un recours constitutionnel subsidiaire contre cette décision. A titre principal, il conclut à son annulation en tant qu'elle lui refuse des dépens pour la procédure classée et demande qu'il lui soit alloué à ce titre un montant de 2'500 fr. Subsidiairement, il conclut à l'annulation de la décision cantonale et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
Il sollicite aussi le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Des réponses n'ont pas été requises.

Considérant en droit:
1. 1.1 La contestation opposant les parties porte sur l'allocation d'honoraires d'avocat dans un procès en responsabilité des organes de tutelle. Il s'agit d'une décision rendue dans une matière de droit public connexe au droit civil (art. 72 al. 2 let. b LTF; cf. arrêt 5A_594/2008 du 2 décembre 2008 consid. 1.2 non publié aux <ref-ruling> et les réf. citées). Le recours, formé en temps utile (art. 100 al. 1 LTF), est par ailleurs dirigé contre un jugement final rendu par une autorité cantonale de dernière instance (art. 75 al. 1, 90, 100 al. 1 et 117 LTF).
1.2 La voie de droit mentionnée à la fin de l'arrêt attaqué, conformément à l'art. 112 al. 1 let. d LTF, est inexacte, dans la mesure où elle précise qu'un recours en matière de droit public pourrait être interjeté au Tribunal fédéral. Cette fausse indication n'entraîne aucun préjudice pour le recourant. En effet, selon la jurisprudence, l'intitulé erroné d'un recours n'influence pas sa recevabilité, à condition que l'écriture réponde aux exigences de la voie de droit appropriée (cf. <ref-ruling> consid. 1.2 p. 302 s.), ce qui est le cas en l'espèce, comme on va le voir au considérant suivant.
1.3 L'arrêt entrepris a été rendu dans une contestation pécuniaire dont la valeur litigieuse est manifestement inférieure à 30'000 fr., de sorte que le seuil fixé pour la recevabilité du recours en matière civile n'est pas atteint (art. 51 al. 1 let. a et 74 al. 1 let. b LTF). Aucune des exceptions prévues par l'art. 74 al. 2 LTF n'entrant en considération, seule la voie du recours constitutionnel subsidiaire est ouverte.
2. Le recours constitutionnel subsidiaire ne peut être formé que pour la violation de droits constitutionnels (art. 116 LTF) et le Tribunal fédéral n'examine la violation de tels droits que si un grief de ce chef a été invoqué et motivé par le recourant (art. 106 al. 2 LTF auquel renvoie l'art. 117 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée. Les critiques de nature appellatoire sont irrecevables (cf. <ref-ruling> consid. 4.1; <ref-ruling> consid. 1.3 et les arrêts cités).
3. L'autorité cantonale a constaté que le recourant avait participé en qualité de tiers intéressé à l'action de droit administratif qui opposait l'Etat de Neuchâtel au pupille lésé. Pour statuer sur la demande de dépens, elle s'est fondée sur l'art. 48 al. 1 de la loi cantonale neuchâteloise sur la procédure et la juridiction administrative du 27 juin 1979 (ci-après : LPJA/NE; RSN 152.130) qui prévoit que des dépens peuvent être alloués à la partie qui a engagé des frais, à condition que les mesures prises paraissent justifiées. Partant du principe que, en cas de retrait de l'action, des dépens pouvaient être accordés à la partie qui aurait eu gain de cause, elle a examiné quel aurait été le sort des conclusions du recourant si l'intimé avait maintenu son action.
A ce sujet, le Tribunal administratif a constaté que, dans la procédure cantonale, le recourant avait soutenu qu'il était incompétent à raison de la matière pour connaître de l'action intentée en vertu de l'art. 430 CC par le pupille contre l'Etat de Neuchâtel. L'autorité précédente a considéré que cette conclusion aurait dû être rejetée. Selon elle, sa compétence était donnée sur la base des art. 17 et 21 al. 1 de la loi cantonale neuchâteloise sur la responsabilité des collectivités publiques et de leurs agents (ci-après : LResp/NE; RSN 150.10). Quant aux art. 426 ss CC relatifs à la responsabilité des organes de tutelle, l'autorité précédente a estimé qu'ils ne font pas obstacle à la compétence d'une autorité administrative pour statuer sur une action en responsabilité des organes de la tutelle, à condition que cette autorité présente les garanties d'indépendance et d'impartialité de l'art. 6 CEDH et que la position du lésé ne se trouve pas aggravée. Le Tribunal administratif a jugé qu'il présentait les garanties requises, que l'action de droit administratif était proche de l'action prévue pour les procès civils et offrait même certaines garanties supplémentaires au lésé, telle que l'application du principe inquisitoire. Il en a conclu que les conclusions du recourant, qui tendaient à lui faire constater son incompétence matérielle, auraient été rejetées; l'intéressé n'avait donc pas droit à des dépens.
4. Le recourant ne conteste pas que l'octroi des dépens qu'il réclame était fonction du sort qui aurait été réservé à ses conclusions mais prétend qu'il aurait eu gain de cause si l'action avait été maintenue. Selon lui, le Tribunal administratif a jugé à tort qu'il était compétent pour trancher le litige dont il était saisi. Il invoque la primauté du droit fédéral (art. 2 DT/Cst.; recte : 49 al. 1 Cst.), en soutenant que le Tribunal administratif devait examiner sa compétence matérielle exclusivement au regard des art. 426 ss CC, au lieu d'appliquer la loi cantonale sur la responsabilité. A ses yeux, les art. 426 ss CC, dont il dénonce l'application arbitraire, excluent qu'un tribunal administratif statue sur une action en responsabilité du tuteur.
4.1 Selon l'art. 49 al. 1 Cst., le droit fédéral prime le droit cantonal qui lui est contraire. Ce principe constitutionnel de la primauté du droit fédéral fait obstacle à l'adoption ou à l'application de règles cantonales qui éludent des prescriptions de droit fédéral ou qui en contredisent le sens ou l'esprit, notamment par leur but ou par les moyens qu'elles mettent en oeuvre, ou qui empiètent sur des matières que le législateur fédéral a réglementées de façon exhaustive (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5a, 295 consid. 3b; <ref-ruling> consid. 4a et les arrêts cités).
4.2 Les art. 426 ss CC prévoient une responsabilité primaire des organes de tutelle (art. 426 CC) et subsidiaire de la collectivité publique (art. 427 al. 1 CC). Il est loisible au législateur cantonal de prévoir une responsabilité du canton plus étendue, en particulier une responsabilité primaire de celui-ci (cf. art. 427 al. 2 CC; de manière implicite : ATF 43 II 60 consid. 1; arrêt 5C.142/1994 du 28 mars 1995 consid. 3c; DESCHENAUX/STEINAUER, Personnes physiques et tutelle, 4ème éd., 2001, n. 1077a; FORNI/PIATTI, Commentaire bâlois, 4ème éd., 2010, n. 6 in fine ad art. 426-429 CC). En ce qui concerne la compétence et la procédure de ces actions, le droit fédéral impose uniquement qu'elles soient soumises à un juge qui remplit les conditions d'indépendance et d'impartialité déduites de l'art. 6 CEDH (cf. art. 430 al. 1 CC; FORNI/PIATTI, Commentaire bâlois, 3ème éd., n. 12 ad art. 426-429 CC); pour le surplus, la compétence et la procédure relèvent du droit de procédure cantonal (cf. art. 430 CC; HANS AEPLI, Die Verantwortlichkeit der vormundschaftlichen Organe, 1979, p. 71).
Le canton de Neuchâtel a institué, dans le domaine de la tutelle, une responsabilité concurrente de la collectivité publique et de ses agents [cf. art. 17 LResp/NE; Bulletin officiel des séances du Grand Conseil du canton de Neuchâtel, vol. CLV, I, p. 125 et 131; ALAIN RIBAUX, Tuteur et autorités de tutelle in : RDT 1997 p. 161 ss, 169; ALAIN BAUER, La responsabilité des collectivités publiques et de leurs agents (spécialement dans le canton de Neuchâtel) in : RJN 2005 p. 13 ss, p. 27] et a soumis l'action dirigée contre la collectivité publique au Tribunal administratif (art. 21 al. 1 LResp/NE; Bulletin officiel des séances du Grand Conseil du canton de Neuchâtel, vol. CLV, I, p. 132).
Au vu de ce qui précède, les dispositions cantonales appliquées sont conformes au droit fédéral qui laisse aux cantons une grande latitude en matière de compétence et de procédure, hormis la réserve relative aux garanties d'indépendance et d'impartialité que doit présenter l'autorité compétente. A ce sujet, le recourant ne conteste pas que le Tribunal administratif remplisse les conditions d'indépendance et d'impartialité qui découlent de l'art. 6 CEDH. On ne saurait ainsi reprocher à l'autorité précédente d'avoir éludé des règles de droit fédéral en examinant sa compétence au regard du droit cantonal. Le grief tiré de la violation de l'art. 49 Cst. est dès lors infondé.
4.3 Il l'est également en tant que le recourant se plaint d'une application arbitraire (art. 9 Cst.; sur cette notion : <ref-ruling> consid. 1.3 et les arrêts cités) des art. 426 ss CC puisque ces dispositions ne font pas obstacle à la compétence matérielle d'un tribunal administratif pour statuer sur une action en responsabilité du tuteur. Lorsqu'il prétend que l'action de droit administratif ne se conçoit que pour trancher un litige opposant des parties se trouvant sur un pied d'égalité, ce qui ne serait pas le cas en l'espèce, il se réfère implicitement au droit cantonal; une telle argumentation est impropre à démontrer que les art. 426 ss CC ont été appliqués de manière arbitraire. Le grief est ainsi irrecevable.
5. Le recourant fait encore grief aux premiers juges d'avoir, en lui refusant des dépens, appliqué arbitrairement les art. 47 et 48 de la loi cantonale neuchâteloise sur la procédure et la juridiction administrative du 27 juin 1979 (ci-après : LPJA/NE; RSN 152.130).
5.1 L'art. 47 al. 1 LPJA/NE prévoit que, sous réserve des dispositions contraires du droit fédéral, la partie qui succombe est condamnée au paiement des frais de procédure. Quant à la charge des dépens, elle est également fonction du résultat du procès (cf. art. 48 al. 1 LPJA/NE; ROBERT SCHAER, Juridiction administrative neuchâteloise, 1995, p. 190 ad art. 48 LPJA).
Lorsque le recours est retiré, la règle veut que, en principe, le recourant est considéré comme partie succombante et supporte les frais et les éventuels dépens de la procédure; l'opportunité peut toutefois justifier qu'il y soit renoncé (ROBERT SCHAER, op. cit., p. 187; BENOIT BOVAY, Procédure administrative, 2000, p. 459). Par ailleurs, lorsqu'un demandeur communique au juge qu'il retire son action à la suite de la conclusion d'un accord extrajudiciaire, on ne saurait l'assimiler à une partie succombante (MARTIN BERNET, Die Parteientschädigung in der schweizerischen Verwaltungsrechtspflege, 1986, n° 256). Les frais et dépens doivent alors être répartis selon l'accord des parties ou, en l'absence d'accord des parties sur ce point, selon les règles qui prévalent pour le procès devenu sans objet, c'est-à-dire en faisant un pronostic sur l'issue probable de la procédure (MARTIN BERNET, op. cit., nos 254 et 256; FRITZ GYGI, Bundesverwaltungsrechtspflege, 2ème éd., 1983, p. 327).
5.2 En l'espèce, l'intimé, demandeur à l'action, a retiré dite action à la suite d'une convention conclue avec l'Etat de Neuchâtel. Selon cet accord, l'Etat de Neuchâtel s'engageait à lui verser un certain montant pour compenser le préjudice effectif subi du fait des actes du tuteur ainsi que les honoraires d'avocat et les intérêts courus. Les parties y invitaient le Tribunal administratif à classer l'affaire sans allouer de dépens. Dans ces circonstances, l'autorité précédente n'a pas appliqué le droit cantonal de manière arbitraire en refusant d'assimiler l'intimé à une partie succombante et de mettre à sa charge des dépens. Pour le surplus, il n'était pas non plus insoutenable de statuer sur le principe de l'allocation de dépens au recourant - intervenant qui n'était pas partie à l'accord extrajudiciaire - en se fondant sur l'issue probable de ses conclusions. Or, comme il a été vu aux considérants précédents, le pronostic fait par le Tribunal administratif sur les chances de succès du recourant était exempt d'arbitraire.
6. En définitive, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Comme les conclusions prises dans l'acte de recours apparaissaient d'emblée vouées à l'échec, la requête d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimé qui n'a pas été invité à répondre (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. La demande d'assistance judiciaire est rejetée.
4. Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal administratif du canton de Neuchâtel.
Lausanne, le 30 août 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Juge présidant: Escher
La Greffière: Rey-Mermet