Faits :
A.
A.a. A._ a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après: l'office AI) le 24 février 1994, en indiquant souffrir des séquelles d'une opération d'une tumeur au cerveau (notamment maux de tête [migraines], troubles de la concentration et fatigabilité). Se fondant sur les renseignements pris au cours de l'instruction, l'office AI a octroyé à l'assurée une demi-rente d'invalidité à partir du 1 er mars 1995 (décision du 21 juin 1996 confirmée après révision le 29 avril 1999). A la suite d'une demande de révision initiée par A._ en septembre 1999, l'office AI a alloué à cette dernière une rente entière d'invalidité dès le 1 er septembre 1999 (décision du 2 mai 2000 confirmée après révisions les 2 juin 2003 et 28 avril 2008).
A.b. L'office AI a initié une procédure de révision d'office en novembre 2012. Il a recueilli des informations auprès du docteur B._, spécialiste en médecine interne générale (rapport du 26 février 2013), qui a conclu à une incapacité totale de travail. L'office AI a confié la réalisation d'une expertise pluridisciplinaire au Centre d'expertise médicale de C._ (ci-après: CEMed). Les experts n'ont retenu aucun diagnostic incapacitant et conclu à une capacité totale de travail (rapport du 6 juin 2014).
Par décision du 6 mai 2015 (confirmant le projet de décision du 9 mars précédent), l'office AI a malgré les objections de A._ reconsidéré les décisions des 21 juin 1996 et 2 mai 2000, et supprimé le droit à la rente avec effet au premier jour du deuxième mois suivant la notification de la décision.
B.
Par jugement du 24 mars 2016, le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, a rejeté le recours formé par l'assurée contre cette décision.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont elle demande l'annulation. Elle conclut principalement au maintien de son droit à percevoir "la rente complète" d'invalidité et, subsidiairement, au renvoi du dossier à l'office AI ou à l'autorité inférieure pour une nouvelle décision au sens des considérants et, partant, à ce qu'elle soit mise au bénéfice de mesures de réadaptation professionnelle, qu'une nouvelle décision soit rendue à la suite de l'examen des mesures nécessaires à sa réintégration dans le circuit économique et que la rente AI reste due à tout le moins jusqu'à la nouvelle décision.
L'office AI a conclu au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées, sinon un état de fait divergent ne peut être pris en considération.
2.
Le litige porte principalement sur la suppression, par la voie de la reconsidération, de la rente d'invalidité octroyée par l'office intimé à la recourante par décisions des 21 juin 1996 (demi-rente) et 2 mai 2000 (rente entière). Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels applicables. Il suffit d'y renvoyer. On ajoutera que pour pouvoir qualifier une décision de manifestement erronée, il ne suffit pas que l'assureur social ou le juge, en réexaminant l'un ou l'autre aspect du droit à la prestation d'assurance, procède à une appréciation différente de celle qui avait été effectuée à l'époque et qui était, en soi, soutenable. Le caractère manifestement inexact de l'appréciation doit bien plutôt résulter de l'ignorance - à l'époque - de preuves de faits essentiels (arrêt 9C_508/2015 du 4 mars 2016 consid. 5.1).
3.
La juridiction cantonale a considéré que les décisions des 21 juin 1996 et 2 mai 2000 avaient été rendues à la suite d'une instruction médicale lacunaire, dans la mesure où l'office intimé avait omis de récolter les informations déterminantes auprès des intervenants respectifs de l'époque pour établir s'il existait une activité adaptée à l'état de santé de l'assurée. Elle a ainsi constaté que ces décisions étaient manifestement erronées, en application de l'art. 53 al. 2 LPGA (cf. consid. 4). Elle a ensuite considéré que l'expertise du CEMed du 6 juin 2014 concluant à une capacité totale de travail revêtait valeur probante et exposé les raisons qui l'ont menée à considérer que les appréciations des docteurs D._, médecin au Centre E._; rapports des 14 janvier et 29 mai 2015, et B._, spécialiste en médecine interne générale (rapport du 7 avril 2015), ne présentaient aucun élément susceptible de remettre en cause les conclusions des experts (cf. consid. 5). Elle a finalement considéré que malgré le fait que la recourante bénéficiait d'une rente depuis plus de quinze ans, des mesures visant la réinsertion dans le circuit économique n'étaient pas envisageables (cf. consid. 6).
4.
4.1. L'assurée reproche en premier lieu au tribunal cantonal d'avoir retenu que c'est à bon droit que l'office intimé a, en faisant application de l'art. 53 al. 2 LPGA, reconsidéré les décisions des 21 juin 1996 et 2 mai 2000. Elle soutient que les premiers juges n'ont fait que procéder à une nouvelle appréciation du cas d'espèce.
4.2.
4.2.1. S'agissant de la procédure d'instruction qui a mené à la décision du 21 juin 1996, et contrairement à ce que soutient la recourante, la juridiction cantonale a relevé que l'office intimé avait de manière peu compréhensible occulté le fait que les appréciations médicales recueillies étaient incomplètes. Le docteur F._, spécialiste en médecine interne générale et rhumatologie, avait retenu dans son rapport du 8 mai 1994 une incapacité de travail de 50 % mais avait requis une reconversion professionnelle. Il s'était notamment référé aux réserves émises par l'employeur quant à l'activité habituelle d'employée d'administration mais n'avait pas fourni d'informations à propos de l'éventuelle activité adaptée. De même, le taux de 30 % à 40 % mentionné par le docteur G._, médecin auprès de la Division autonome de neuropsychologie du Centre H._, dans son rapport du 22 janvier 1996, concernait seulement l'activité habituelle ("capacité de gain actuelle"). La question de l'exigibilité d'une activité adaptée n'a ainsi pas été examinée. On ajoutera - et il convient ici de compléter la constatation des faits de la juridiction cantonale (art. 105 al. 2 LTF) - que le docteur F._ lui-même avait proposé dans son rapport du 16 mars 1995 que l'office intimé mette en oeuvre une expertise mixte, effectuée conjointement par un psychiatre et un neurologue. Il avait ajouté qu'il s'agissait d'un cas demandant un bilan complémentaire. L'office intimé a néanmoins octroyé une rente à l'assurée en faisant abstraction des remarques du médecin traitant.
Dans ces circonstances et comme il ressort du jugement entrepris, il était manifeste que l'office intimé aurait dû continuer l'instruction afin de valablement déterminer la capacité de travail de l'assurée dans l'activité habituelle et adaptée. Manquant à son obligation, il a fait un usage manifestement erroné de son pouvoir d'appréciation. En outre, en fixant le taux d'invalidité en fonction de l'incapacité de travail dans l'activité habituelle, évaluée à l'époque 50 %, sans examiner ni, partant, tenir compte d'une éventuelle capacité de travail dans une autre activité, il a fait abstraction du principe de la priorité de la réadaptation sur la rente découlant de l'art. 28a al. 1 LAI et déjà valable à l'époque (voir <ref-ruling> consid. 1d p. 212 et arrêt 9C_154/2011 du 19 juillet 2011 consid. 4.1), contrairement à l'argumentation avancée par la recourante.
4.2.2. De même, s'agissant de la procédure d'instruction qui a mené à la décision du 2 mai 2000, l'office intimé s'est contenté d'un seul avis médical émanant du médecin traitant, le docteur F._, du 7 octobre 1999 - lequel se référait à l'examen neuropsychologique réalisé le 25 août 1999 par le docteur G._ -, pour conclure à une incapacité de travail de 80 %. Or ces deux appréciations médicales ne permettaient pas de reconnaître l'existence d'une aggravation objective de l'état de santé de l'assurée par rapport à la situation qui avait amené à l'octroi de la demi-rente. Conformément à ce qu'a exposé la juridiction cantonale, seules y étaient rapportées les plaintes et restrictions subjectives relatées par la recourante, de sorte que les réquisits jurisprudentiels en matière de valeur probante des rapports médicaux n'étaient pas remplis. En effet, le docteur F._ retenait une incapacité de travail de 80 % sur la seule base des déclarations de sa patiente (asthénie, fatigue, maux de tête avec troubles de la concentration et de la mémoire depuis son accouchement; elle ne peut plus s'occuper de son enfant et a arrêté de travailler depuis janvier 1999). Dans son mémoire de recours, l'assurée ne fait qu'affirmer que le rapport du docteur F._ confirme médicalement l'aggravation de la situation mais n'explique pas quelle information objective le médecin traitant aurait apporté pour justifier cette péjoration. Quant au docteur G._, il mentionnait que l'examen neuropsychologique auquel il avait procédé était incomplet et n'avait d'ailleurs pas pris de conclusions quant à la capacité de travail, ce que la recourante semble ignorer, se limitant à citer des extraits du rapport du praticien.
4.3. Sur le vu de ce qui précède, force est d'admettre qu'au regard des informations récoltées auprès des différents intervenants, l'office intimé aurait dû poursuivre l'instruction. Par conséquent, en reconsidérant par décision du 6 mai 2015 les décisions des 21 juin 1996 et 2 mai 2000, il n'a pas procédé à une nouvelle appréciation des faits mais corrigé une erreur manifeste commise au cours des deux instructions menées à l'époque.
5.
5.1. L'assurée reproche ensuite aux premiers juges de s'être fondés sur l'expertise pluridisciplinaire du CEMed qu'ils ont jugée probante.
5.2.
5.2.1. Comme il ressort des constatations cantonales, le rapport d'expertise - qui concluait à une capacité de travail entière dans l'activité habituelle - contenait les éléments nécessaires permettant de se prononcer en conformité à la nouvelle pratique en matière de troubles somatoformes douloureux (<ref-ruling>), de sorte qu'il demeurait en tous points pertinent; il tenait compte de l'entier des rapports médicaux du dossiers, présentait une anamnèse, faisait état des plaintes de l'assurée, posait un diagnostic et émettait une appréciation circonstanciée du cas. Ainsi, le grief de la recourante selon lequel le rapport d'expertise a été établi antérieurement à la nouvelle jurisprudence tombe à faux. S'agissant de l'exclusion du caractère invalidant de l'atteinte, et contrairement à ce que l'assurée soutient, les premiers juges ont raisonnablement constaté que les conséquences notamment des violentes migraines alléguées, tant sur le plan neurologique que neuropsychologique ainsi que sur le plan psychique, avaient été suffisamment examinées par les experts. Ces derniers avaient effectivement relevé un status sous l'angle de la médecine interne dans la norme, un examen neurologique normal et un bilan neuropsychologique ininterprétable en raison du manque de collaboration avec discordances entre "l'importance subjectivement majeure des troubles et leurs répercussions semble-t-il catastrophiques sur la vie personnelle et professionnelle de l'assurée d'une part et la discrétion des anomalies objectives d'autre part". La recourante donnait par ailleurs une description de ses maux de tête qui n'était pas celle de migraines et les phénomènes d'accompagnement dépassaient clairement ce que l'on rencontre lors de telles atteintes, même sévères. C'est ainsi que la juridiction cantonale a retenu une exagération des symptômes. L'assurée ne saurait dès lors être suivie lorsqu'elle reproche aux premiers juges de s'être substitués au corps médical. En outre, sur le plan psychique, les experts avaient nié la présence d'un trouble de la personnalité empêchant la recourante de s'adapter à son environnement professionnel (pas de processus maladif s'étendant sur plusieurs années, pas de perte d'intégration sociale, pas d'état psychique cristallisé, pas d'échec des traitements ambulatoires).
5.2.2. S'agissant de l'appréciation du docteur I._ du 16 septembre 2014, et contrairement à ce que soutient l'assurée, la juridiction cantonale a exposé les motifs qui l'ont menée à considérer que le rapport du praticien ne mettait pas en doute les conclusions de l'expertise du CEMed (céphalées dont la description, fortement atypique, dépasse même la description habituelle des céphalées tensionnelles). Pour sa part, la recourante ne fait que citer un extrait du rapport sans expliquer de manière objective en quoi cette appréciation mettrait en question celle des experts. Il apparaît d'ailleurs que l'avis du docteur I._ n'était pas tranché, dans la mesure où ce dernier avait proposé une évaluation par un spécialiste et la réalisation d'un bilan psychiatrique pour mieux établir l'impact psychologique des douleurs; il ne s'était pas prononcé sur la capacité de travail. La recourante se limite également à citer un passage du rapport du docteur D._ du 14 janvier 2015 et à faire mention de la divergence entre cette appréciation et celle des experts, sans toutefois donner d'arguments permettant de comprendre en quoi le premier avis ferait douter du second. Elle reproche encore aux premiers juges d'avoir admis que les éléments leur permettant de se prononcer sur la capacité de travail en lien avec ses troubles neuropsychologiques étaient réunis alors que les experts mentionnaient des résultats peu fiables. Or cette constatation résultait d'une mauvaise collaboration de l'assurée, comme l'ont constaté les spécialistes, et non d'un examen incomplet ou contradictoire.
5.3. Au vu de ce qui précède, c'est sans arbitraire ni autre violation du droit que le tribunal cantonal s'est fondé sur l'expertise du CEMed.
6.
6.1. S'agissant des mesures de réintégration sur le marché du travail, la recourante invoque qu'elle souhaitait leur mise en oeuvre, contrairement à ce qu'a retenu la juridiction cantonale.
6.2. Avant de réduire ou de supprimer une rente d'invalidité, l'administration doit examiner si la capacité de travail que la personne assurée a recouvrée sur le plan médico-théorique se traduit pratiquement par une amélioration de la capacité de gain et, partant, une diminution du degré d'invalidité ou si, le cas échéant, il est nécessaire de mettre préalablement en oeuvre une mesure d'observation professionnelle (afin d'établir l'aptitude au travail, la résistance à l'effort, etc.), voire des mesures de réadaptation au sens de la loi (arrêt 9C_163/2009 du 10 septembre 2010 consid. 4.2.2 et les références, in SVR 2011 IV n° 30 p. 86; voir également arrêt 9C_368/2010 du 31 janvier 2011 consid. 5). La jurisprudence considère qu'il existe des situations dans lesquelles il convient d'admettre que des mesures d'ordre professionnel sont nécessaires, malgré l'existence d'une capacité de travail médico-théorique. Il s'agit des cas dans lesquels la réduction ou la suppression, par révision (art. 17 al. 1 LPGA) ou reconsidération (art. 53 al. 2 LPGA), du droit à la rente concerne une personne assurée qui est âgée de 55 ans révolus ou qui a bénéficié d'une rente pendant quinze ans au moins. Cela ne signifie pas que la personne assurée peut se prévaloir d'un droit acquis dans le cadre d'une procédure de révision ou de reconsidération; il est seulement admis qu'une réadaptation par soi même ne peut, sauf exception, être exigée d'elle en raison de son âge ou de la durée du versement de la rente (arrêt 9C_228/2010 du 26 avril 2011 consid. 3.3 et 3.5, in SVR 2011 IV n° 73 p. 220; voir également arrêt 9C_254/2011 du 15 novembre 2011 consid. 7).
6.3. Les premiers juges ont constaté qu'en raison des plaintes, des limitations médicales alléguées ainsi que du manque de volonté de la recourante, une mesure de réinsertion n'aurait pas abouti. Or ils ne pouvaient admettre que l'assurée avait refusé de suivre une telle mesure. Premièrement, conformément à ce qu'invoque cette dernière, lors de l'entretien du 23 juillet 2014 à propos d'une éventuelle réadaptation, il lui semblait important de montrer sa bonne foi et d'envisager de s'engager dans des mesures de réadaptation à définir. Cette volonté a été confirmée lors de l'entretien téléphonique du lendemain entre son mari et l'office intimé. En outre, par courriers des 16 janvier et 17 février 2015, la recourante se déclarait expressément d'accord avec la mise en place de telles mesures. Deuxièmement, le fait qu'elle se référait à l'appréciation du docteur D._ du 14 janvier précédent, lequel mentionnait une "incapacité à ré-exercer actuellement une quelconque activité professionnelle", ne pouvait pas être considéré comme un refus de se réinsérer. En effet, si l'assurée contestait disposer d'une capacité de travail, cela ne signifiait pas qu'elle contestait la mise en oeuvre de mesures de réinsertion, contrairement à ce qu'en a déduit l'office intimée. Il s'agit de deux questions distinctes - la première concernant le droit au versement de la rente et la seconde le droit à des mesures de réadaptation - dont l'examen s'effectue en fonction de la réalisation de conditions différentes. L'office intimé a omis de faire cette distinction. Il a ainsi sorti la prétendue opposition de son contexte. Par conséquent, l'appréciation des premiers juges selon laquelle la mise en oeuvre de mesures de réintégration n'était pas envisageable au vu de l'attitude de l'assurée est arbitraire.
6.4. Dès lors que la recourante a bénéficié d'une demi-rente d'invalidité du 1 er mars 1995 au 31 août 1999 puis d'une rente entière d'invalidité du 1 er septembre 1999 au 30 juin 2015, soit durant plus de quinze ans, elle appartient à la catégorie d'assurés dont il convient de présumer qu'ils ne peuvent en principe pas entreprendre de leur propre chef tout ce que l'on peut raisonnablement attendre d'eux pour tirer profit de leur capacité résiduelle de travail. Il ressort du dossier que l'office intimé n'a pas concrètement examiné la situation de la recourante et la question de l'octroi éventuel de mesures d'accompagnement à la réintégration professionnelle, dans la mesure où il s'est arrêté à la constatation selon laquelle l'assurée n'avait pas pour objectif premier de se réadapter, ce que la juridiction cantonale a confirmé, à tort (cf. consid. 6.2 supra). En l'état du dossier, il n'apparaît à première vue pas vraisemblable que la recourante puisse, compte tenu de son éloignement prolongé du marché du travail, reprendre du jour au lendemain une activité lucrative sans que ne soit mises préalablement en oeuvre des mesures destinées à l'aider à se réinsérer dans le monde du travail. Il convient par conséquent de renvoyer le dossier à l'office intimé afin qu'il examine concrètement les besoins objectifs de l'assurée à ce propos. Ce n'est qu'à l'issue de cet examen et de la mise en oeuvre d'éventuelles mesures de réintégration sur le marché du travail que l'office intimé pourra définitivement statuer sur la reconsidération de la rente d'invalidité et, le cas échéant, supprimer le droit à la rente (voir arrêt 9C_163/2009 précité consid. 4.1.1 et les références).
7.
Le recours se révèle donc bien fondé. Les frais judiciaires seront supportés par l'office intimé qui succombe (art. 66 al. 1 LTF). Celui-ci versera par ailleurs une indemnité de dépens à la recourante (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Le jugement du Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, du 24 mars 2016 et la décision de l'Office de l'assurance-invalidité du canton de Neuchâtel du 6 mai 2015 sont annulés. La cause est renvoyée à l'Office de l'assurance-invalidité pour instruction complémentaire au sens des considérants et nouvelle décision.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'office intimé.
3.
L'office intimé versera à la recourante la somme de 2'800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 décembre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
La Greffière : Flury