Faits :
A.
A.a. A._ a sollicité des prestations de l'assurance-invalidité le 17 juin 2003. Elle indiquait dans sa requête qu'elle était née en 1959, n'exerçait aucune activité lucrative et souffrait des suites d'un état dépressif ainsi que de troubles affectant ses genoux.
Se fondant sur l'avis du docteur B._, médecin traitant, ainsi que sur l'expertise psychiatrique réalisée par le docteur C._, médecin-chef du Centre D._, qui faisaient état de divers troubles somatiques (gonarthrose gauche, status après transposition rotulienne et ostéotomie du tibia, etc.) ou psychiques (trouble dépressif récurrent, troubles de la personnalité) engendrant une incapacité totale de travail dans toutes activités lucratives depuis le 6 février 2003 (rapports des 6 juillet 2003 et 9 août 2004), l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après l'office AI) a acquiescé à la demande de l'assurée et lui a alloué une rente entière avec effet au 1er février 2004 (décision du 14 avril 2005).
A.b. L'office AI a maintenu inchangé le droit à la rente entière au terme de deux procédures de révision (communications des 26 mars 2007 et 8 janvier 2013).
A.c. L'intéressée a été invitée à remplir des questionnaires concernant la reprise d'une activité le 3 novembre 2014 ou l'opportunité de réaliser des mesures de réadaptation le 27 janvier 2015. Elle a informé l'administration qu'elle n'avait jamais exercé d'activités - quelles qu'elles soient - depuis le dépôt de sa demande de rente et ne pas pouvoir en exercer à cause de limitations physiques et psychiques qu'elle présentait toujours.
Le Secteur de lutte contre la fraude à l'assurance (LFA) de l'office AI a mis en place la surveillance de A._ (rapports des 30 juin et 20 septembre 2015). Il a relevé les contradictions entre les déclarations faites par l'assurée et les observations réalisées concrètement sur le terrain (rapports des 13 août et 9 novembre 2015). L'intéressée a été conviée à s'expliquer à propos des contradictions constatées (notice d'entretien du 9 novembre 2015). L'administration a soumis les deux rapports de surveillance à son Service médical (SMR). Le docteur E._ en a inféré une amélioration de la situation médicale de A._ (rapport du 16 novembre 2015) dont il a fixé l'avènement au début du mois d'octobre 2014 (rapport du 15 décembre 2015).
L'office AI a averti l'assurée que, compte tenu des éléments récoltés, il entendait supprimer la rente octroyée jusque-là avec effet rétroactif au 1er octobre 2014 (projet de décision du 17 décembre 2015). L'intéressée a formulé des objections. En dépit de celles-ci, l'administration a entériné la suppression de la rente dès le 1er octobre 2014 (décision du 15 février 2016) et requis la restitution de 29'868 fr. versés indûment durant la période allant du 1er octobre 2014 au 31 décembre 2015 (décision du 4 mars 2016).
B.
Saisie d'un recours de A._, dirigé simultanément contre les décisions de suppression et de restitution des prestations, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel l'a admis (jugement du 28 mars 2017). Il a annulé les deux décisions mentionnées.
C.
L'office AI a déféré la cause au Tribunal fédéral. Par la voie du recours matière de droit public, il requiert l'annulation du jugement de première instance et la confirmation de ses décisions des 15 février et 4 mars 2016.
L'assurée a conclu au rejet du recours alors que l'Office fédéral des assurances sociales a formulé des conclusions identiques à celles de l'administration.

Considérant en droit :
1.
Le recours en matière de droit public (au sens des art. 82 ss LTF) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité précédente. Il statue sur la base des faits établis par celle-ci (art. 105 al. 1 LTF), mais peut les rectifier et les compléter d'office si des lacunes et des erreurs manifestes apparaissent d'emblée (art. 105 al. 2 LTF). En principe, il n'examine que les griefs motivés (art. 42 al. 2 LTF), surtout s'ils portent sur la violation des droits fondamentaux (art. 106 al. 2 LTF). Il ne peut pas aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le recourant peut critiquer la constatation des faits qui ont une incidence sur le sort du litige seulement s'ils ont été établis en violation du droit ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2.
2.1. Le litige s'inscrit en l'occurrence dans le cadre du droit de l'intimée à une rente de l'assurance-invalidité. Il porte plus particulièrement sur la suppression à compter du 1er octobre 2014, par voie de révision au sens de l'art. 17 LPGA, de la rente octroyée depuis le 1er octobre 2004. Il porte en outre sur la restitution des prestations allouées entre les 1er octobre 2014 et 31 décembre 2015.
2.2. Les premiers juges ont cité les dispositions légales et les principes jurisprudentiels relatifs - en particulier - à la révision de rentes (art. 17 LPGA; <ref-ruling> consid. 2.3 p. 10 s; <ref-ruling> consid. 5 p. 110 ss; <ref-ruling> consid. 3.5 p. 349 ss et les références) dans le contexte d'une violation de l'obligation d'annoncer (art. 31 al. 1 LPGA; art. 7b LAI) et de la lutte contre la perception indue de prestations d'invalidité (art. 59 al. 5 LAI; <ref-ruling>; arrêt de la Cour européenne des droits de l'homme [CourEDH] Vukota-Bojic contre Suisse du 18 octobre 2016). On peut donc y renvoyer.
3.
Le tribunal cantonal a constaté que la suppression des prestations par l'office recourant reposait sur les rapports du SMR qui, eux-mêmes, ne reposaient pas sur des observations cliniques mais uniquement sur les observations réalisées durant la mesure de surveillance. Il a considéré que cette pratique ne s'accordait aucunement avec la jurisprudence de la CourEDH. Il a déduit de cette jurisprudence que la surveillance mise en oeuvre était contraire au droit au respect de la vie privée et que les preuves tirées du cette surveillance ne pouvaient être admises dans la procédure. En l'absence d'autres investigations, dans l'impossibilité de juger la réalisation des conditions d'une révision, il a dès lors annulé la décision de suppression des prestations, ainsi que la décision de restitution de ces mêmes prestations.
4.
L'administration fait en substance grief à la juridiction cantonale d'avoir indûment écarté le rapport de surveillance de son appréciation du cas. Elle soutient que selon la jurisprudence de la CourEDH, ce rapport restait parfaitement exploitable dans la procédure et qu'en relation avec l'avis du SMR et l'audition de l'assurée, il permettait légitimement d'aboutir à la suppression des prestations.
5.
Contrairement à ce qu'affirment les premiers juges, si une surveillance réalisée dans une procédure de l'assurance-invalidité est certes dénuée d'une base légale suffisante et viole ainsi le droit au respect de la vie privée (art. 8 CEDH; art 13 Cst.), le moyen de preuve qui en résulte peut cependant être exploité dans ladite procédure dans la mesure où il a été récolté dans le respect de certaines conditions (à ce sujet, cf. arrêt 9C_806/2016 du 17 juillet 2017 consid. 4 et 5 destiné à la publication; cf. aussi arrêts 9C_817/2016 du 15 septembre 2017 consid. 3; 8C_570/2016 du 8 novembre 2017 consid. 1).
En l'espèce, la question de savoir si le rapport de surveillance et ceux du SMR fondés en partie sur le résultat de l'observation peuvent constituer un moyen de preuve valable à la lumière de la jurisprudence de la CourEDH et de celle du Tribunal fédéral qui en a suivie peut de toute façon rester ouverte. En effet, un rapport de surveillance ne permet pas, à lui seul, de juger l'état de santé et la capacité de travail d'un assuré. Il doit être renforcé par des données médicales. L'évaluation du matériel d'observation par un médecin peut suffire (cf. <ref-ruling> consid. 7.1 p. 337; cf. aussi arrêt 9C_25 2015 du 1er mai 2015 consid. 4.1). Une telle évaluation du matériel d'observation a en l'espèce été faite par un médecin du SMR (voir rapports des 16 novembre et 15 décembre 2015). Néanmoins, à supposer qu'on puisse admettre que ces rapports - basés sur des photographies essentiellement - permettent de porter un jugement sur la répercussion des affections somatiques sur la capacité de travail de l'intimée, on ne saurait en tirer la même conclusion en ce qui concerne l'incidence des troubles psychiques. Des photographies, ou même des vidéos, ne permettent pas, à elles seules, dans le cas d'espèce de conclure à l'amélioration d'un trouble de la personnalité (borderline et narcissique en l'occurrence) et d'un trouble dépressif récurrent, d'autant moins que la durée d'observations a été brève (trois jours entre les 26 et 29 juin 2015; quatre jours entre les 1eret 18 septembre 2015) et que l'intensité des divers épisodes dépressifs inhérents à un trouble dépressif récurrent peut varier dans le temps.
6.
En ce qui concerne la répartition des frais judiciaires et des dépens, le renvoi de la cause pour nouvel examen et décision revient à obtenir gain de cause au sens des art. 66 al. 1 et 68 al. 1 et 2 LTF, indépendamment du fait qu'une conclusion ait ou non été formulée à cet égard, à titre principal ou subsidiaire (<ref-ruling> consid. 7.1 p. 271; arrêts 8C_75/2017 du 24 octobre 2017 consid. 6; 8C_208/2016 du 9 mars 2017 consid. 6).
Vu l'issue du litige, les frais de justice sont mis à la charge de l'intimée (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement du Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, du 28 mars 2017, ainsi que les décisions de l'Office de l'assurance-invalidité du canton de Neuchâtel des 15 février et 4 mars 2016 sont annulés. La cause est renvoyée à l'Office de l'assurance-invalidité du canton de Neuchâtel pour instruction complémentaire au sens des considérants et nouvelle décision. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimée.
3.
La cause est renvoyée au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 janvier 2018
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
Le Greffier : Cretton