Faits:
A. Par jugement du 18 mars 2008 rendu par la Cour d'assises du canton de Neuchâtel, A._ a été condamné à une peine privative de liberté pour diverses infractions commises dans le cadre de son activité de tuteur au préjudice de plusieurs de ses pupilles.
B._ a notamment été victime des agissements illicites de A._ lorsque celui-ci était son tuteur.
B. Le 3 février 2009, B._ a déposé devant le Tribunal administratif une action de droit administratif dirigée contre l'Etat de Neuchâtel. Il concluait au versement par le défendeur de 42'403 fr. 75 à titre de réparation du dommage subi en raison des actes de A._. Ce dernier a participé à ce procès en qualité d'intervenant.
Les parties principales ayant conclu un accord extrajudiciaire, B._ a, le 10 mai 2010, retiré sa demande. Pour sa participation au procès en qualité d'intervenant, A._ a, par courrier du 17 mai 2010, requis une indemnité de dépens, déclarant s'en remettre à l'appréciation du Tribunal administratif quant à la quotité.
Par décision du 23 juillet 2010, le Tribunal administratif a ordonné le classement de l'affaire. Il a statué sans frais et n'a pas alloué de dépens.
C. Le 3 septembre 2010, A._ a formé un recours en matière civile contre cette décision. A titre principal, il conclut à son annulation en tant qu'elle lui refuse des dépens pour la procédure classée et demande qu'il lui soit alloué à ce titre un montant de 2'500 fr. Subsidiairement, il propose l'annulation de la décision cantonale et le renvoi de la cause à l'autorité précédente pour nouvelle décision.
Il sollicite aussi le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Des réponses n'ont pas été requises.

Considérant en droit:
1. 1.1 La contestation opposant les parties porte sur l'allocation d'honoraires d'avocat dans un procès en responsabilité des organes de tutelle. Il s'agit d'une décision rendue dans une matière de droit public connexe au droit civil (art. 72 al. 2 let. b LTF; cf. arrêt 5A_594/2008 du 2 décembre 2008 consid. 1.2 non publié aux <ref-ruling> et les références citées). Le recours, formé en temps utile (art. 100 al. 1 LTF), est par ailleurs dirigé contre un jugement final (art. 90 LTF) rendu par une autorité cantonale de dernière instance (art. 75 LTF).
1.2 La voie de droit mentionnée à la fin de l'arrêt attaqué, conformément à l'art. 112 al. 1 let. d LTF, est inexacte, dans la mesure où elle précise qu'un recours en matière de droit public pourrait être interjeté au Tribunal fédéral. Peu importe cette fausse indication, le recourant ayant formé un recours en matière civile sur lequel il y a lieu d'entrer en matière.
1.3 Le recours en matière civile n'est ouvert que si la valeur litigieuse minimale fixée par la loi, en l'occurrence 30'000 fr., est atteinte (art. 74 al. 1 let. b LTF). Cette question peut toutefois demeurer indécise, dès lors que le Tribunal fédéral, au vu des griefs soulevés, dispose d'une cognition identique, quel que soit le type de recours considéré. Le recourant se plaint en effet, pour l'essentiel, d'une application arbitraire du droit cantonal, en particulier des art. 47 et 48 de la loi cantonale neuchâteloise sur la procédure et la juridiction administrative du 27 juin 1979 (ci-après : LPJA/NE; RSN 152.130). Le seul point de droit fédéral qu'il soulève, concernant l'application des art. 426 ss CC, consiste à savoir si lesdites normes excluent la juridiction administrative - telle qu'elle est prévue par les art. 17 et 21 al. 1 de la loi cantonale neuchâteloise sur la responsabilité des collectivités publiques et de leurs agents (ci-après : LResp/NE; RSN 150.10) - en faveur d'une compétence exclusive du juge civil. La question posée relève donc de l'application arbitraire du droit cantonal. Dans un pareil cas, la question préalable de droit fédéral ne peut pas être attaquée séparément en invoquant une violation du droit fédéral, mais celle-ci est considérée comme relevant du droit cantonal (<ref-ruling> consid. 1a; <ref-ruling> consid. 2; arrêt 4A_375/2008 du 18 novembre 2008 consid. 2.1) et n'est examinée que sous l'angle de l'arbitraire et que si l'application du droit cantonal fait l'objet d'un grief dûment motivé au sens de l'art. 106 al. 2 LTF (<ref-ruling> consid. 2.3; <ref-ruling> consid. 1.2.1).
Pour le même motif, il n'y a pas lieu de s'interroger sur l'existence d'une question juridique de principe au sens de l'art. 74 al. 2 let. a LTF (<ref-ruling> consid. 1.3.3).
2. L'autorité cantonale a constaté que le recourant avait participé en qualité d'intervenant à l'action de droit administratif qui opposait le pupille lésé à l'Etat de Neuchâtel. Pour statuer sur la demande de dépens, elle s'est fondée sur l'art. 48 al. 1 LPJA/NE selon lequel des dépens peuvent être alloués à la partie qui a engagé des frais, à condition que les mesures prises paraissent justifiées. Partant du principe que, en cas de retrait de l'action, des dépens pouvaient être accordés à la partie qui aurait eu gain de cause, elle a examiné quel aurait été le sort des conclusions du recourant si l'intimé avait maintenu son action.
A ce sujet, elle a constaté que, dans la procédure cantonale, le recourant avait soutenu qu'elle était incompétente à raison de la matière pour connaître de l'action intentée en vertu de l'art. 430 CC par le pupille contre l'Etat de Neuchâtel. Elle a considéré que cette conclusion aurait été rejetée et que, partant, l'intéressé n'avait pas droit à des dépens. Elle a jugé que sa compétence était donnée sur la base des art. 17 et 21 al. 1 LResp/NE. Quant aux art. 426 ss CC relatifs à la responsabilité des organes de tutelle, elle a estimé qu'ils ne faisaient pas obstacle à la compétence d'une autorité administrative pour statuer sur une action en responsabilité des organes de la tutelle, à condition que cette autorité présente les garanties d'indépendance et d'impartialité de l'art. 6 CEDH et que la position du lésé ne se trouve pas aggravée. A cet égard, elle a retenu qu'elle présentait les garanties requises, que l'action de droit administratif était proche de l'action prévue pour les procès civils et offrait même certaines garanties supplémentaires au lésé, telle que l'application du principe inquisitoire.
3. Le recourant ne conteste pas que l'octroi des dépens qu'il réclame était fonction du sort qui aurait été réservé à ses conclusions, mais prétend qu'il aurait eu gain de cause si l'action avait été maintenue. Selon lui, le Tribunal administratif n'était pas compétent pour trancher le litige dont il était saisi. Il invoque la primauté du droit fédéral (art. 2 DT/Cst.; recte : 49 al. 1 Cst.), en soutenant que l'autorité cantonale devait examiner sa compétence matérielle exclusivement au regard des art. 426 ss CC, au lieu d'appliquer la loi cantonale sur la responsabilité. A ses yeux, les art. 426 ss CC excluent précisément qu'un tribunal administratif statue sur une action en responsabilité du tuteur.
3.1 Selon l'art. 49 al. 1 Cst., le droit fédéral prime le droit cantonal qui lui est contraire. Ce principe constitutionnel de la primauté du droit fédéral fait obstacle à l'adoption ou à l'application de règles cantonales qui éludent des prescriptions de droit fédéral ou qui en contredisent le sens ou l'esprit, notamment par leur but ou par les moyens qu'elles mettent en oeuvre, ou qui empiètent sur des matières que le législateur fédéral a réglementées de façon exhaustive (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5a, 295 consid. 3b; <ref-ruling> consid. 4a et les arrêts cités).
3.2 Les art. 426 ss CC prévoient une responsabilité primaire des organes de tutelle (art. 426 CC) et subsidiaire de la collectivité publique (art. 427 al. 1 CC). Il est loisible au législateur cantonal de prévoir une responsabilité du canton plus étendue, en particulier une responsabilité primaire de celui-ci (cf. art. 427 al. 2 CC; de manière implicite: ATF 43 II 60 consid. 1; arrêt 5C.142/1994 du 28 mars 1995 consid. 3c; DESCHENAUX/STEINAUER, Personnes physiques et tutelle, 4ème éd., 2001, no 1077a; FORNI/PIATTI, Commentaire bâlois, 4ème éd., 2010, no 6 in fine ad art. 426-429 CC). En ce qui concerne la compétence et la procédure de ces actions, le droit fédéral impose uniquement qu'elles soient soumises à un juge qui remplit les conditions d'indépendance et d'impartialité déduites de l'art. 6 CEDH (cf. art. 430 al. 1 CC; FORNI/PIATTI, op.cit., no 12 ad art. 426-429 CC); pour le surplus, la compétence et la procédure relèvent du droit de procédure cantonal (cf. art. 430 CC; HANS AEPLI, Die Verantwortlichkeit der vormundschaftlichen Organe, 1979, p. 71).
Le canton de Neuchâtel a institué, dans le domaine de la tutelle, une responsabilité concurrente de la collectivité publique et de ses agents (cf. art. 17 LResp/NE; Bulletin officiel des séances du Grand Conseil du canton de Neuchâtel, vol. CLV, I, p. 125 et 131; ALAIN RIBAUX, Tuteur et autorités de tutelle in: RDT 1997 p. 161 ss, 169; ALAIN BAUER, La responsabilité des collectivités publiques et de leurs agents [spécialement dans le canton de Neuchâtel] in: RJN 2005 p. 13 ss, p. 27) et a soumis l'action dirigée contre la collectivité publique au Tribunal administratif (art. 21 al. 1 LResp/NE; Bulletin officiel des séances du Grand Conseil du canton de Neuchâtel, vol. CLV, I, p. 132).
Au vu de ce qui précède, les dispositions cantonales appliquées sont conformes au droit fédéral qui laisse aux cantons une grande latitude en matière de compétence et de procédure, hormis la réserve relative aux garanties d'indépendance et d'impartialité que doit présenter l'autorité compétente. A ce sujet, le recourant ne conteste pas que le Tribunal administratif remplisse les conditions d'indépendance et d'impartialité qui découlent de l'art. 6 CEDH. On ne saurait ainsi reprocher à l'autorité précédente d'avoir éludé des règles de droit fédéral en examinant sa compétence au regard du droit cantonal. Le grief tiré de la violation de l'art. 49 Cst. est dès lors mal fondé.
Les considérations qui précèdent scellent également le sort du moyen pris de la violation des art. 426 ss CC, critique relevant en réalité du droit cantonal dont seul l'arbitraire, dûment motivé, peut être invoqué par le recourant (cf. consid. 1.3 supra). L'attribution à un tribunal administratif de la compétence pour statuer en la matière est en effet conforme au droit fédéral, comme retenu ci-dessus. Enfin, l'argumentation fondée sur le rattachement au droit public de l'action de droit administratif, pour autant qu'elle soit suffisamment motivée, n'est pas non plus de nature à remettre en cause le raisonnement précité et à démontrer l'arbitraire de la solution cantonale.
4. Le recourant fait encore grief aux premiers juges d'avoir, en lui refusant des dépens, appliqué arbitrairement les art. 47 et 48 de la loi cantonale neuchâteloise sur la procédure et la juridiction administrative du 27 juin 1979 (ci-après: LPJA/NE; RSN 152.130).
4.1 L'art. 47 al. 1 LPJA/NE prévoit que, sous réserve des dispositions contraires du droit fédéral, la partie qui succombe est condamnée au paiement des frais de procédure. Quant à la charge des dépens, elle est également fonction du résultat du procès (cf. art. 48 al. 1 LPJA/NE; ROBERT SCHAER, Juridiction administrative neuchâteloise, 1995, p. 190 ad art. 48 LPJA).
Lorsque le recours est retiré, la règle veut que, en principe, le recourant est considéré comme partie succombante et supporte les frais et les éventuels dépens de la procédure; l'opportunité peut toutefois justifier qu'il y soit renoncé (ROBERT SCHAER, op. cit., p. 187; BENOIT BOVAY, Procédure administrative, 2000, p. 459). Par ailleurs, lorsqu'un demandeur communique au juge qu'il retire son action à la suite de la conclusion d'un accord extrajudiciaire, on ne saurait l'assimiler à une partie succombante (MARTIN BERNET, Die Parteientschädigung in der schweizerischen Verwaltungsrechtspflege, 1986, n° 256). Les frais et dépens doivent alors être répartis selon l'accord des parties ou, en l'absence d'un tel accord, selon les règles qui prévalent pour le procès devenu sans objet, c'est-à-dire en faisant un pronostic sur l'issue probable de la procédure (MARTIN BERNET, op. cit., nos 254 et 256; FRITZ GYGI, Bundesverwaltungsrechtspflege, 2ème éd., 1983, p. 327).
4.2 En l'espèce, l'intimé, demandeur à l'action, a retiré cette dernière à la suite d'une convention conclue avec l'Etat de Neuchâtel. Selon cet accord, le canton s'engageait à lui verser un certain montant pour compenser le préjudice effectif subi du fait des actes du tuteur ainsi que les honoraires d'avocat et les intérêts courus. Les parties y invitaient le Tribunal administratif à classer l'affaire sans allouer de dépens. Dans ces circonstances, l'autorité précédente n'a pas appliqué le droit cantonal de manière arbitraire en refusant d'assimiler l'intimé à une partie succombante et de mettre à sa charge des dépens. Pour le surplus, il n'était pas non plus insoutenable de statuer sur le principe de l'allocation de dépens au recourant - intervenant qui n'était pas partie à l'accord extrajudiciaire - en se fondant sur l'issue probable de ses conclusions. Or, comme il a été vu au considérant 3, le pronostic fait par le Tribunal administratif sur les chances de succès des conclusions du recourant était exempt d'arbitraire.
5. En définitive, le recours doit être rejeté, dans la mesure de sa recevabilité. Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Comme les conclusions prises dans l'acte de recours apparaissaient d'emblée vouées à l'échec, la requête d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimé qui n'a pas été invité à répondre (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. La demande d'assistance judiciaire est rejetée.
4. Le présent arrêt est communiqué aux parties et au Tribunal administratif du canton de Neuchâtel, Cour de droit public.
Lausanne, le 29 août 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Jordan