Faits: A. Souffrant des séquelles d'un syndrome lombaire, B._, née en 1950, perçoit, pour elle et ses deux enfants V._ et J._, une rente de l'assurance-invalidité depuis le 1er août 1990 et une rente, pour elle uniquement, de la Caisse de pensions de l'État de Neuchâtel (ci-après: la caisse) depuis le 1er avril de la même année. Informée directement de l'existence des deux enfants le 2 mai 2003, la caisse a annoncé à l'assurée douze jours plus tard son intention de lui verser désormais les prestations auxquelles elle avait droit pour ceux-ci, avec effet rétroactif au 1er mai 1998 seulement eu égard aux dispositions et principes régissant la prescription. Elle a confirmé sa résolution les 9 janvier et 30 décembre 2004, malgré les observations de l'intéressée. Celle-ci soutenait substantiellement que le fait pour la caisse d'invoquer la prescription enfreignait les principes de la bonne foi, de la confiance et de l'interdiction de l'abus de droit, dès lors qu'elle connaissait parfaitement l'existence des deux enfants par les décisions de l'assurance-invalidité et qu'elle n'avait pas respecté son obligation légale de verser d'office les pensions pour enfants dues pour la période allant du 1er août 1990 au 30 avril 1998. B. B._ et son fils V._ - majeur depuis le 14 mars 2001 - ont ouvert action à l'encontre de la caisse auprès du Tribunal administratif du canton de Neuchâtel le 26 avril 2006. Reprenant le même raisonnement qu'auparavant, ils concluaient à la condamnation de celle-ci au paiement de l'arriéré des pensions d'enfants d'invalide dues pour la période comprise entre les 1er août 1990 et 30 avril 1998. La juridiction cantonale a rejeté les demandes formulées par l'assurée et par son fils, bien qu'elle ait nié la qualité pour agir de ce dernier dans la mesure où le droit à une rente pour enfant appartenait uniquement au parent invalide de l'enfant majeur si le droit mentionné portait sur une période pendant laquelle ce dernier était encore mineur (jugement du 4 mars 2009). Pour le surplus, elle a en substance estimé que les principes invoqués ne faisaient aucunement obstacle à la prescription du droit litigieux. C. L'intéressée, son fils et sa fille J._ - majeure depuis le 16 juin 2006 - interjettent un recours en matière de droit public contre ce jugement, dont ils requièrent l'annulation. Ils reprennent implicitement les mêmes conclusions qu'en première instance, sous suite de frais et dépens, et sollicitent l'octroi de l'assistance judiciaire pour la procédure fédérale. Sous suite de frais et dépens également, la caisse conclut à l'irrecevabilité du recours ou, à titre subsidiaire, à son rejet. L'Office fédéral des assurances sociales a renoncé à se déterminer. D. La IIe Cour de droit social a tenu une audience publique le 1er février 2010.