Faits:
A. Souffrant des séquelles d'un syndrome lombaire, B._, née en 1950, perçoit, pour elle et ses deux enfants V._ et J._, une rente de l'assurance-invalidité depuis le 1er août 1990 et une rente, pour elle uniquement, de la Caisse de pensions de l'État de Neuchâtel (ci-après: la caisse) depuis le 1er avril de la même année.
Informée directement de l'existence des deux enfants le 2 mai 2003, la caisse a annoncé à l'assurée douze jours plus tard son intention de lui verser désormais les prestations auxquelles elle avait droit pour ceux-ci, avec effet rétroactif au 1er mai 1998 seulement eu égard aux dispositions et principes régissant la prescription. Elle a confirmé sa résolution les 9 janvier et 30 décembre 2004, malgré les observations de l'intéressée. Celle-ci soutenait substantiellement que le fait pour la caisse d'invoquer la prescription enfreignait les principes de la bonne foi, de la confiance et de l'interdiction de l'abus de droit, dès lors qu'elle connaissait parfaitement l'existence des deux enfants par les décisions de l'assurance-invalidité et qu'elle n'avait pas respecté son obligation légale de verser d'office les pensions pour enfants dues pour la période allant du 1er août 1990 au 30 avril 1998.
B. B._ et son fils V._ - majeur depuis le 14 mars 2001 - ont ouvert action à l'encontre de la caisse auprès du Tribunal administratif du canton de Neuchâtel le 26 avril 2006. Reprenant le même raisonnement qu'auparavant, ils concluaient à la condamnation de celle-ci au paiement de l'arriéré des pensions d'enfants d'invalide dues pour la période comprise entre les 1er août 1990 et 30 avril 1998.
La juridiction cantonale a rejeté les demandes formulées par l'assurée et par son fils, bien qu'elle ait nié la qualité pour agir de ce dernier dans la mesure où le droit à une rente pour enfant appartenait uniquement au parent invalide de l'enfant majeur si le droit mentionné portait sur une période pendant laquelle ce dernier était encore mineur (jugement du 4 mars 2009). Pour le surplus, elle a en substance estimé que les principes invoqués ne faisaient aucunement obstacle à la prescription du droit litigieux.
C. L'intéressée, son fils et sa fille J._ - majeure depuis le 16 juin 2006 - interjettent un recours en matière de droit public contre ce jugement, dont ils requièrent l'annulation. Ils reprennent implicitement les mêmes conclusions qu'en première instance, sous suite de frais et dépens, et sollicitent l'octroi de l'assistance judiciaire pour la procédure fédérale.
Sous suite de frais et dépens également, la caisse conclut à l'irrecevabilité du recours ou, à titre subsidiaire, à son rejet. L'Office fédéral des assurances sociales a renoncé à se déterminer.
D. La IIe Cour de droit social a tenu une audience publique le 1er février 2010.

Considérant en droit:
1. 1.1 Le parent invalide a droit à une rente complémentaire pour enfant (<ref-law> dont la teneur correspond substantiellement à celle de l'art. 59 al. 1 de la loi concernant la Caisse de pensions de l'État de Neuchâtel [LCP; RSN 152.551]). Le droit à la rente complémentaire s'éteint lorsque l'enfant atteint la majorité ou s'étend jusqu'à la fin de la formation accomplie par celui-ci mais pas au-delà de son 25e anniversaire (art. 25 al. 4 et 5 LAVS [applicable par renvoi des <ref-law> et 35 al. 1 LAI] dont la teneur correspond substantiellement à celle de l'art. 62 al. 1 et 2 LCP). La rente complémentaire est destinée à l'entretien de l'enfant (cf. arrêts 5A_746/2008 du 9 avril 2009 consid. 6.2 ou I 364/05 du 19 juin 2006 consid. 4.2) et peut être versée en mains de tiers (cf. <ref-law>). Le Tribunal fédéral a cependant déduit des <ref-law> et 82 RAI, en lien avec l'<ref-law>, que la rente complémentaire ne pouvait pas être versée directement à l'enfant majeur (cf. <ref-ruling> consid. 2.3 p. 16 ss).
1.2 Les lois auxquelles il est fait référence ne contiennent pas de dispositions dérogeant au dernier principe mentionné de sorte que celui-ci peut être appliqué par analogie dans le domaine de la prévoyance professionnelle. Le recours interjeté par V._ doit par conséquent être rejeté dans la mesure où le droit à la rente appartient à sa mère. Il doit être déclaré irrecevable, en tant qu'il est interjeté par J._, puisque celle-ci n'était pas partie à la procédure cantonale (<ref-law>). Cela n'a toutefois pas d'importance en l'espèce dès lors que B._ a qualité pour recourir et qu'elle et ses deux enfants ont agi par un même acte dont le but est d'obtenir de la caisse intimée le versement de l'arriéré des rentes complémentaires pour la période courant du 1er août 1990 au 30 avril 1998 et non de déterminer en mains de qui celles-ci devraient être payées.
2. 2.1 Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'examine en principe que les griefs motivés (<ref-law>) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> auquel cas il peut les rectifier ou les compléter d'office (<ref-law>). Conformément à la pratique qui prévalait en matière de recours de droit public, l'<ref-law> exige que la violation des droits fondamentaux soit expressément soulevée et clairement exposée dans le mémoire de recours (<ref-ruling> consid. 2.1 p. 31, 258 consid. 1.3 p. 261 s.). Le recourant ne peut critiquer la constatation des faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de façon manifestement inexacte (<ref-law>).
2.2 Le Tribunal fédéral revoit librement les dispositions de droit public cantonal et communal en matière de prévoyance professionnelle, en tout cas celles portant sur l'octroi ou le refus de prestations d'assurance (<ref-ruling> consid. 1 p. 199 s.)
3. La recourante ne conteste pas l'application du délai de prescription de cinq ans en soi. Elle reproche à la juridiction cantonale une violation des principes développés en relation avec cette notion. Elle soutient en particulier que le principe de la bonne foi, lié à l'obligation légale de l'administration cantonale d'appliquer le droit d'office et de renseigner, faisait obstacle à la prescription dans la mesure où la caisse intimée connaissait parfaitement l'existence des deux enfants dès l'origine par le truchement des décisions rendues par l'Office de l'assurance-invalidité du canton de Neuchâtel.
3.1 On relèvera au préalable que l'absence de documents relatifs aux informations échangées de part et d'autre au moment de la naissance du droit aux rentes litigieuses en raison de la destruction des archives de l'administration cantonale suite à l'écoulement du délai légal de dix ans ne permet pas de déterminer le plus objectivement possible dans quelle mesure les obligations de chacun ont alors été respectées.
3.2 Cependant, il ressort indubitablement du dossier communiqué que l'existence des deux enfants était connue de la caisse intimée, dès l'origine, dans la mesure où celle-ci avait reçu les décisions AI. La décision du 25 février 1991, notamment, qui contenait la référence expresse à l'envoi d'une copie à la "Caisse de pension de l'État - Musée 1 - 2000 Neuchâtel", mentionnait effectivement leur nom et numéro AVS, en caractère gras, au-dessous de celui de leur mère. Bien que la prévoyance professionnelle soit un domaine qui relève de l'administration de masse, on ne saurait considérer que les institutions actives en ce domaine, chargées d'appliquer la loi, ne sont d'une manière générale pas capable d'exercer un simple contrôle, par lequel elles constateraient inévitablement un fait aussi évident que l'existence d'enfants, d'autant moins qu'en l'occurrence les prestations LPP allouées initialement l'ont été temporairement, sous réserve de modifications une fois le montant des prestations AI connu (lettre du 5 avril 1990) et qu'elles ont fait l'objet d'une demande de restitution (lettres des 18 janvier et 7 mars 1991). Toutes les informations utiles et nécessaires à l'examen du droit à une pension pour enfant d'invalide étaient donc en possession de l'administration cantonale (pour un autre exemple d'exigences strictes posées par le Tribunal fédéral des assurances quant aux modalités et au moment de la connaissance de faits juridiquement pertinents, voir <ref-ruling>).
3.3 Le fait pour les premiers juges de soutenir que les circonstances auraient pu et dû susciter chez l'assurée des interrogations devant l'amener à se rendre compte de son droit à des prestations pour enfants et à entreprendre des démarches actives pour les obtenir viole donc le droit en vigueur dès lors qu'on ne voit pas quel autre élément aurait dû être communiqué par celle-ci. On ajoutera aussi que, contrairement à ce que soutient la juridiction cantonale, il n'est pas forcément notoire qu'une institution de prévoyance verse des rentes pour enfants, que la présence d'un avocat aux côtés de la recourante à l'époque n'est pas décisive dans la mesure où le rôle de celui-ci s'était limité à négocier un accord relatif aux pensions provisoires d'invalidité versées dans l'attente de la décision AI, qu'il n'est pas démontré que l'assurée ait effectivement reçu un exemplaire de la LCP, qu'à supposer que tel soit bien le cas, on ne saurait reprocher à celle-ci de ne pas l'avoir lue d'un bout à l'autre et de ne pas avoir assimilé les subtilités juridiques de plus de cent articles - ou du moins de lui en faire supporter, seule, la responsabilité -, d'autant moins qu'on ne voit pas quelles raisons auraient pu la conduire à ne pas se présenter à la convocation de la caisse intimée munie de son livret de famille, comme exigé dans la lettre du 5 avril 1990, et qu'on ne peut imaginer l'absence de réaction à une éventuelle non-réponse à la convocation, ni l'absence d'explication quant à la nécessité de présenter le livret de famille ou quant à l'incidence de la non-présentation d'un tel document, sans envisager l'hypothèse d'une violation de ses devoirs par la caisse intimée.
3.4 Il faut enfin accorder une importance particulière à la situation juridique spécifique dans le sens où, par le versement mensuel de la rente, la recourante et l'administration cantonale se trouvent dans un rapport étroit dont la durée est indéterminée et qui crée une relation de confiance renforcée, qu'en raison de son caractère accessoire, la rente complémentaire pour enfants suit nécessairement le sort de la rente principale (cf. arrêt du Tribunal fédéral B 162/06 du 18 janvier 2008, in RSAS 2008 p. 380) et que le comportement de la caisse intimée dans le cas particulier ne constitue pas une simple inadvertance ou erreur mais une faute qui, eu égard aux circonstances, doit être qualifiée de grave. Cette faute est d'autant plus grave que l'administration cantonale admet avoir eu connaissance des décisions AI ainsi que de leur contenu et ne pas être intervenue, durant treize ans, au seul motif que l'assurée ne l'avait pas directement informée.
4. 4.1 Tous ces éléments, considérés dans leur ensemble, justifient de ne pas protéger le comportement de la caisse intimée qui a délibérément violé son devoir d'appliquer la loi, dans un contexte d'octroi et de prolongation régulière d'une pension d'invalidité, à l'égard d'une assurée à qui l'on ne pouvait pas reprocher d'ignorer son droit à des prestations pour enfants et qui avait été contrainte de faire des sacrifices financiers - auxquels elle n'aurait pas sciemment consenti durant treize ans et qui l'ont finalement conduite à entreprendre les démarches de 2003 alors que la formation entreprise par son fils rendait ladite situation difficilement supportable - sur lesquels il n'est désormais plus possible de revenir (sur l'application du principe de la bonne foi en relation avec un renseignement ou une décision erronés ou un défaut de renseignement, cf. <ref-ruling> consid 6.1 sv; <ref-ruling> consid. 5 p. 480).
4.2 Il convient par conséquent d'annuler l'acte attaqué et de constater que l'assurée a droit au paiement des rentes complémentaires d'invalidité pour ses enfants pour la période comprise entre les 1er août 1990 et 30 avril 1998.
5. Vu l'issue du litige, les frais judiciaires sont mis à la charge de l'administration cantonale (<ref-law>). La recourante a droit à une indemnité de dépens à la charge de la caisse intimée (<ref-law>). Sa demande d'assistance judiciaire est dès lors sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de V._ est rejeté.
2. Le recours de J._ est déclaré irrecevable.
3. Le recours de B._ est admis. Le jugement du 4 mars 2009 du Tribunal administratif du canton de Neuchâtel est annulé. Il est constaté que B._ a droit au paiement des rentes complémentaires d'invalidité pour ses enfants pour la période comprise entre le 1er août 1990 et le 30 avril 1998 au sens des considérants.
4. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la caisse intimée.
5. La caisse intimée versera à la recourante la somme de 2'800 fr. à titre de dépens pour la dernière instance.
6. Le Tribunal administratif du canton de Neuchâtel statuera à nouveau sur les frais et dépens de la procédure cantonale au regard de l'issue du procès.
7. Le présent arrêt est communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 1er février 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Cretton