Faits:
A. Par jugement du 18 mars 2008 rendu par la Cour d'assises du canton Neuchâtel, X._ a été condamné à une peine privative de liberté pour des infractions commises dans le cadre de son activité de tuteur. Dans le même jugement, l'autorité précitée l'a condamné à verser à neuf de ses victimes des indemnités.
X._ a formé un recours en cassation civile en concluant à l'annulation du jugement précédent en tant qu'il le condamne à payer des indemnités aux parties civiles. Par arrêt du 14 juillet 2009, la Cour de cassation civile a annulé le premier jugement en ce qui concerne sa condamnation à verser au pupille F._ un montant de 14'550 fr.; elle a rejeté le recours pour le surplus.
B. Le 14 septembre 2009, X._ a formé un recours en matière civile au Tribunal fédéral. Il a conclu à l'irrecevabilité des demandes déposées par les pupilles A._, H._, D._, B._ et C._ et au rejet, pour le surplus, des conclusions en paiement. A titre subsidiaire, il a demandé le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
La Cour de cassation civile s'est référée à son arrêt. A._, C._, D._ et B._ ont conclu au rejet du recours dans la mesure de sa recevabilité. Quant aux autres intimés, ils ont renoncé à se déterminer.
C. Par ordonnance du 21 octobre 2009, l'effet suspensif a été attribué au recours.

Considérant en droit:
1. Le jugement entrepris, qui traite de la responsabilité d'un organe de tutelle, tranche une affaire de droit public en lien étroit avec le droit civil dans la mesure où les conditions de la responsabilité sont soumises à des règles de droit privé (arrêt 5A_594/2008 du 2 décembre 2008 consid. 1.2 et les réf. citées). Il est ainsi sujet au recours en matière civile (art. 72 al. 2 let. b ch. 5 LTF).
Bien qu'il s'agisse d'une affaire pécuniaire, l'autorité cantonale n'a pas indiqué la valeur litigieuse, en violation de l'art. 112 al. 1 let. d LTF. L'arrêt entrepris ne constate ni les montants que le recourant a été condamné à verser ni les conclusions prises par les parties civiles (<ref-law>). Il résulte toutefois du dossier que l'addition des montants réclamés au recourant par les parties civiles dépasse le seuil de 30'000 fr. exigé par l'<ref-law>.
2. Le recourant se plaint d'une application arbitraire de l'art. 35 du code de procédure civile neuchâtelois du 30 septembre 1991 (CPC/NE; RSN 251.1), ce qui a conduit au rejet de l'exception de litispendance qu'il a soulevée devant les autorités cantonales. A l'appui de cette exception, il avait exposé que différents pupilles ont ouvert des actions en responsabilité contre l'Etat de Neuchâtel devant le Tribunal administratif. Comme il est intervenu dans ces procédures à la suite de la "dénonciation" de l'Etat de Neuchâtel, il estime qu'il y avait identité de litige et de parties, ce qui devait conduire au rejet de l'action civile ouverte directement contre lui par les pupilles également parties aux procès pendants devant le Tribunal administratif.
2. Le recourant se plaint d'une application arbitraire de l'art. 35 du code de procédure civile neuchâtelois du 30 septembre 1991 (CPC/NE; RSN 251.1), ce qui a conduit au rejet de l'exception de litispendance qu'il a soulevée devant les autorités cantonales. A l'appui de cette exception, il avait exposé que différents pupilles ont ouvert des actions en responsabilité contre l'Etat de Neuchâtel devant le Tribunal administratif. Comme il est intervenu dans ces procédures à la suite de la "dénonciation" de l'Etat de Neuchâtel, il estime qu'il y avait identité de litige et de parties, ce qui devait conduire au rejet de l'action civile ouverte directement contre lui par les pupilles également parties aux procès pendants devant le Tribunal administratif.
2.1 2.1.1 L'exception de litispendance vise à éviter la coexistence de plusieurs procès, et le risque de jugements contradictoires que celle-ci entraîne, lorsque des actions, portant sur le même objet et opposant les mêmes parties, sont introduites devant différents tribunaux, à plusieurs endroits (cf. art. 35 LFors; <ref-ruling> consid. 3b/bb). La litispendance suppose donc que les mêmes plaideurs principaux soient parties à chacune des instances (identité subjective). En revanche, la litispendance ne peut exister à l'égard des parties accessoires (par ex. appelé en cause, intervenant) que si le jugement leur est opposable (YVES DONZALLAZ, Commentaire de la loi fédérale sur les fors en matière civile, n. 28 ad art. 35; PETER RUGGLE/KRISTINA TENCHIO-KUZMIC, Bundesgesetz über den Gerichtsstand in Zivilsachen, in : Kommentar zum schweizerischen Zivilprozessrecht, n. 6 ad art. 35).
2.1.2 Selon l'art. 22 al. 2 de la loi cantonale neuchâteloise sur la responsabilité des collectivités publiques et de leurs agents (ci-après : LResp/NE; RSN 150.10), l'agent de l'Etat contre lequel une action récursoire de l'Etat peut être envisagée peut intervenir dans le procès ouvert par le tiers contre la collectivité publique. La LResp/NE ne précise rien d'autre sur les caractéristiques d'une telle intervention. Selon les travaux parlementaires, cette disposition reprend "une institution de la procédure civile" et les art. 31 à 38 CPC sont applicables par analogie (ALAIN BAUER, La responsabilité des collectivités publiques et de leurs agents, spécialement dans le canton de Neuchâtel in : RJN 2005 p. 14 ss, 33 avec la réf. citée).
Le code de procédure civile neuchâtelois du 30 septembre 1991 prévoit deux formes d'intervention : l'intervention limitée (<ref-law>/NE) et l'intervention en qualité de partie (<ref-law>/NE). L'intervention limitée consiste à soutenir la partie à laquelle l'intervenant se joint (<ref-law>/NE). Il suit le procès en l'état où il se trouve. Il peut accomplir tous les actes de procédure et faire valoir tous les moyens de preuve qui sont compatibles avec les conclusions des parties (al. 2). L'intervenant limité n'est pas partie au procès; il est l'auxiliaire de la partie. Le jugement rendu entre les parties ne lui est pas opposable (FABIENNE HOHL, Procédure civile I, 2001, n. 579-580).
2.2 La cour cantonale a jugé que l'intervention du recourant dans le cadre des actions en responsabilité ouvertes par les pupilles devant le Tribunal administratif était une intervention limitée Par conséquent, le jugement qui serait rendu à l'issu des procédures ne lui serait pas opposable, de sorte que l'exception de litispendance devait être rejetée.
La critique formulée par le recourant contre ce raisonnement est purement appellatoire. Il oppose son point de vue à celui de l'autorité cantonale, en affirmant que son intervention devant le Tribunal administratif correspondait à l'"intervention en qualité de partie" prévue par l'<ref-law>/NE, mais sans expliquer en quoi il était arbitraire de considérer qu'elle correspondait à l'intervention limitée de l'<ref-law>/NE. Son grief est par conséquent irrecevable, ce qui laisse intactes les considérations cantonales sur les caractéristiques de l'intervention dans la procédure pendante devant le Tribunal administratif. Partant, en l'absence de jugement opposable au recourant, l'exception de litispendance ne pouvait qu'être rejetée.
3. Le recourant conteste devoir verser des dommages aux parties civiles concernées.
3.1 En vertu de l'<ref-law>, le tuteur est responsable du dommage qu'il cause au pupille, à dessein ou par négligence, en n'observant pas, dans l'exercice de ses fonctions, la diligence d'un bon administrateur.
Au sens juridique, le dommage réside dans la diminution involontaire de la fortune nette; il correspond à la différence entre le montant actuel du patrimoine du lésé et le montant qu'aurait ce même patrimoine si l'événement dommageable ne s'était pas produit. Le dommage peut se présenter sous la forme d'une diminution de l'actif, d'une augmentation du passif, d'une non-augmentation de l'actif ou d'une non-diminution du passif (<ref-ruling> consid. 4.4.2; <ref-ruling> consid. 4; <ref-ruling> consid. 2.2.1). Dire s'il y a eu dommage et quelle en est la quotité est une question de fait, qui lie en principe le Tribunal fédéral (<ref-law>). En revanche, c'est une question de droit de dire si la notion juridique du dommage a été méconnue et de déterminer si l'autorité cantonale s'est fondée sur des principes de calcul admissibles pour le fixer (ATF <ref-ruling> consid. 4; <ref-ruling> consid. 6.2; <ref-ruling> consid. 2.4).
3.2 En ce qui concerne le pupille A._, l'autorité précédente a retenu que le tuteur avait reçu de celui-ci un montant de 500 fr. afin de payer les impôts dudit pupille. Comme le tuteur n'avait pas réglé cette dette d'impôt mais avait versé cet argent à deux autres pupilles, la cour cantonale a constaté que A._ avait subi un dommage de 500 fr.
Le recourant prétend que la cour de cassation a retenu un état de fait incorrect en constatant l'existence de ce dommage. Il explique qu'il n'a pas eu le temps, vu son incarcération, de procéder aux extournes sur les comptes des deux pupilles à qui l'argent a été versé. Selon lui, il suffirait de procéder à ces extournes pour que le dommage disparaisse. C'est dire qu'il admet qu'en l'état, le pupille A._ a subi un préjudice de 500 fr., dont la cour a ainsi correctement retenu l'existence.
4. Le recourant conteste également le dommage qu'il doit payer aux intimés H._, E._ et I._ (ch. 6, 7 et 9 du jugement cantonal). Concernant ces questions, le jugement attaqué appelle les remarques suivantes.
4.1 Pour que le Tribunal fédéral soit en mesure de vérifier si le droit fédéral a été correctement appliqué en relation avec les questions soulevées, il est nécessaire que le jugement cantonal fasse clairement ressortir les motifs déterminants de fait et de droit (<ref-law>). Il résulte de cette norme que les décisions cantonales doivent indiquer clairement les faits qui sont établis et les déductions juridiques qui sont tirées de l'état de fait déterminant (<ref-ruling> consid. 8.2 et les réf. citées; arrêt 4A_252/2007 du 15 novembre 2007 consid. 3.2). Si une décision attaquée ne satisfait pas aux exigences fixées à l'<ref-law>, le Tribunal fédéral peut soit la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (<ref-law>; cf. arrêt 4A_252/2007 du 15 novembre 2007 consid. 3).
4.2 En l'espèce, l'état de fait du jugement cantonal se résume aux constatations exposées à la let. A ci-dessus. Les juges cantonaux ont certes retenu diverses constatations de fait, sans aucune chronologie, au fil de l'examen des griefs du recourant, ce qui rend le jugement difficilement compréhensible. En ce qui concerne les griefs relatifs aux intimés H._, E._ et I._ (ch. 6,7 et 9 du jugement cantonal), les reproches qui étaient soulevés par le recourant devant l'autorité cantonale ne ressortent pas clairement du jugement attaqué. En particulier, on ne distingue pas dans quelle mesure le recourant s'en prenait au jugement de première instance, ni s'il contestait les faits retenus ou la méthode de calcul (cf. par ex. ch. 7 du jugement attaqué). Mais surtout, le raisonnement par lequel l'autorité précédente a écarté ces griefs est incompréhensible. A titre d'exemple, en ce qui concerne l'intimé I._, le recourant semblait contester à première vue l'appréciation des preuves qui avait conduit l'autorité de première instance à retenir l'existence d'un dommage de 741 fr. dû à ce pupille. La cour de cassation lui répond en citant des pièces, sans expliquer en quoi elles permettent de rejeter le grief. Elle rappelle ensuite que le recourant doit désigner exactement les pièces qu'il invoque - sans toutefois lui reprocher de ne pas l'avoir fait et en tirer les conséquences sur le plan juridique - pour terminer ensuite par un commentaire humoristique de certaines factures trouvées dans le dossier, sans toutefois tirer aucune déduction juridique de ces pièces qui n'étaient d'ailleurs pas invoquées par le recourant.
Il se justifie par conséquent d'annuler cet arrêt en application de l'<ref-law> et de retourner la cause à l'autorité cantonale pour qu'elle rende une décision répondant aux exigences de l'<ref-law>.
5. Le recourant reproche encore à l'autorité précédente une violation des art. 429 et 430 CC. Il y avait lieu, selon lui, de fixer les quotes-parts de responsabilité du tuteur, du Service des mineurs et des "autres autorités de tutelle", lesquelles auraient commis des négligences.
5.1 Les art. 428 et 429 CC fixent les conditions de la responsabilité lorsque plusieurs personnes sont responsables pour un seul et même dommage. Les personnes qui ont causé le dommage par fraude, soit intentionnellement, sont tenues directement et solidairement. Quant aux personnes qui ne répondent du dommage que par négligence, elles ne sont tenues à réparation que subsidiairement, et pour leur quote-part (art. 428 al. 2 et 429 al. 3 CC; DESCHENAUX/STEINAUER, Personnes physiques et tutelle, 4ème éd., Berne 2001, n. 1072-1073). Lors de la fixation des dommages-intérêts, si la responsabilité des membres d'une autorité n'est que subsidiaire, le juge se prononcera uniquement sur l'existence de cette responsabilité et sur la quote-part incombant à chacun; il ne rendra pas de jugement chiffré (ATF 61 II 7).
5.2 En l'espèce, il ne ressort pas du jugement cantonal que d'autres organes de la tutelle aient été considérés comme responsables des préjudices causés aux pupilles en raison de négligences qui auraient été commises. Le recourant présente certes une version des faits à ce sujet, mais dont on ne trouve nulle trace dans le jugement précédent; partant, le Tribunal fédéral ne peut en tenir compte (<ref-law>). Par ailleurs, le recourant ne soulève aucun grief en relation avec la constatation des faits - ou plutôt le caractère incomplet - du jugement cantonal à cet égard (<ref-law>). Les reproches qu'il formule à ce sujet s'adressent au jugement de première instance. C'est méconnaître que seule la décision de dernière instance cantonale fait l'objet du recours. Il n'est ainsi pas possible, dans un recours au Tribunal fédéral, de critiquer les constatations d'une autorité inférieure si elles n'ont pas été reprises, au moins implicitement, dans la décision de dernière instance, ce qui n'est pas le cas en l'occurrence (<ref-law>; BERNARD CORBOZ, Commentaire de la LTF, n. 11 ad art. 75).
Dès lors qu'il n'apparaît pas, au vu des faits constatés (<ref-law>), que plusieurs personnes sont responsables du dommage causé, on ne saurait reprocher à la cour cantonale une violation des art. 429 et 430 CC.
6. Le recourant succombe partiellement dans la mesure où ses griefs relatifs à la litispendance, au calcul du dommage de l'intimé A._ et à la responsabilité des membres de la tutelle sont rejetés; il règne toutefois une certaine incertitude quant au sort final du procès en ce qui concerne les points sur lesquels la cause est renvoyée à la cour cantonale en vertu de l'<ref-law>. Il se justifie ainsi de mettre deux tiers des frais judiciaires à la charge du recourant et un tiers à la charge des intimés A._, B._, C._ et D._ qui ont conclu au rejet du recours et de l'effet suspensif. Les parties ont en outre droit à des dépens réduits dans la même proportion (<ref-law>). Dans la mesure où le recourant l'emporte, sa demande d'assistance judiciaire est sans objet; elle est admise pour le surplus, la condition d'indigence étant clairement remplie et ses conclusions n'apparaissant pas vouées à l'échec (<ref-law>). Les frais judiciaires lui incombant seront donc provisoirement supportés par la Caisse du Tribunal fédéral (<ref-law>); l'octroi de l'assistance judiciaire ne le dispense cependant pas du paiement des dépens (cf. <ref-ruling> consid. 2c).
S'agissant de la requête d'assistance judiciaire des intimés A._, C._ et D._, dans la mesure où elle n'est pas sans objet, elle doit être rejetée. Les intéressés n'ont en effet pas établi leur indigence (cf. <ref-ruling> consid. 4a), le seul fait qu'ils aient obtenu l'assistance judiciaire devant les autorités précédentes n'étant par ailleurs pas décisif (BERNARD CORBOZ, Commentaire de la LTF, 2009, n. 20 ad <ref-law> et la réf. citée).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, l'arrêt attaqué est annulé conformément à l'<ref-law> et la cause est renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant à hauteur de deux tiers et à la charge des intimés A._, B._, C._ et D._ à hauteur d'un tiers, solidairement entre eux; la part des frais judiciaires incombant au recourant est provisoirement supportée par la Caisse du Tribunal fédéral.
3. Une indemnité de 1'000 fr., à verser à titre de dépens aux intimés A._, B._, C._ et D._, créanciers solidaires, est mise à la charge du recourant.
4. La requête d'assistance judiciaire du recourant est admise dans la mesure où elle n'est pas sans objet; Me Alexis Bolle, avocat à Neuchâtel, lui est désigné comme avocat d'office.
5. La Caisse du Tribunal fédéral versera à Me Alexis Bolle une indemnité de 1'000 fr. à titre d'honoraires d'avocat d'office.
6. La requête d'assistance judiciaire des intimés A._, C._ et D._ est rejetée.
7. Le présent arrêt est communiqué aux parties et à la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 25 mars 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Rey-Mermet