Faits: A. Par jugement du 18 mars 2008 rendu par la Cour d'assises du canton de Neuchâtel, A._ a été condamné à une peine privative de liberté pour diverses infractions commises dans le cadre de son activité de tuteur au préjudice de plusieurs de ses pupilles. B._ a notamment été victime des agissements illicites de A._ lorsque celui-ci était son tuteur. B. Le 3 juillet 2007, B._ a déposé devant le Tribunal administratif une action de droit administratif dirigée contre l'Etat de Neuchâtel. Il concluait au versement par le défendeur de 17'772 fr. 80 à titre de réparation du dommage subi en raison des actes de A._. Ce dernier a participé à ce procès en qualité d'intervenant. Les parties principales ayant conclu un accord extrajudiciaire, B._ a, le 30 mars 2010, retiré sa demande. Pour sa participation au procès en qualité d'intervenant, A._ a, par courrier du 17 mai 2010, requis une indemnité de dépens, déclarant s'en remettre à l'appréciation du Tribunal administratif quant à la quotité. Par décision du 2 juillet 2010, le Tribunal administratif a ordonné le classement de l'affaire. Il a statué sans frais et n'a pas alloué de dépens. C. Le 3 septembre 2010, A._ a formé un recours constitutionnel subsidiaire contre cette décision. A titre principal, il conclut à son annulation en tant qu'elle lui refuse des dépens pour la procédure classée et demande qu'il lui soit alloué à ce titre un montant de 2'500 fr. Subsidiairement, il conclut à l'annulation de la décision cantonale et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite aussi le bénéfice de l'assistance judiciaire pour la procédure fédérale. Des réponses n'ont pas été requises.