Faits:
A. D._ H._ et son mari U._ H._, nés en Tchécoslovaquie en 1940 et 1923, vivent en Suisse depuis 1969. Ils ont acquis la nationalité suisse en 1983. L'intéressée a travaillé pour X._ du 31 août 1970 au 31 décembre 1998.
Bénéficiant d'une rente complémentaire pour épouse depuis novembre 1995 en plus de la rente ordinaire de vieillesse servie depuis octobre 1988, U._ H._ a été informé par courrier de la Caisse de compensation de l'Office des assurances sociales du canton de Zurich (ci-après: la SVA Zürich) du 4 juin 2003 que sa femme, dans sa 63e année, pouvait prétendre une rente ordinaire de vieillesse et était invitée à remplir une demande de prestations dans ce sens. Le formulaire, indiquant notamment la période d'activité auprès de X._ et la date à partir de laquelle l'épouse s'était acquittée des cotisations AVS, a été retourné à la caisse cantonale le 9 juillet 2003.
La SVA Zürich a octroyé à D._ H._ une rente ordinaire de vieillesse, calculée sur la base d'une échelle de rente 34, dès le mois en cours (décision du 11 novembre 2003).
Une possible erreur ayant été signalée par la Caisse suisse de compensation - intervenue dans le cadre d'une demande de prestations de l'assurée aux autorités de son pays d'origine -, la caisse cantonale a exigé de l'intéressée la restitution de 24'386 fr. versés à tort entre novembre 2003 et janvier 2006, au motif que le temps passé au service de X._ n'aurait pas dû être pris en compte comme années de cotisations personnelles (décision du 17 janvier 2006), puis a corrigé les prestations mensuelles servies aux conjoints (décisions du 19 janvier 2006).
D._ H._ s'est opposée à la restitution concluant au maintien de la décision du 11 novembre 2003 et à la comptabilisation des années 1983/1998 dans le calcul de la rente. Elle arguait de sa bonne foi dès lors que les différentes autorités compétentes avaient omis de l'informer de ses obligations envers l'AVS lors de sa naturalisation et commis une erreur évidente dans la décision d'octroi de rente en dépit de la connaissance depuis 1995 de son emploi pour X._. Elle soutenait aussi que le droit de demander la restitution des prestations versées entre 2003 et 2006 était prescrit.
La SVA Zürich a rejeté l'opposition de l'assurée. Selon elle, le principe de la protection de la bonne foi ne s'appliquait pas et le droit de réclamer la restitution n'était pas prescrit puisqu'elle n'avait fourni aucune indication erronée et qu'elle n'avait eu connaissance de son erreur que par l'intermédiaire d'une lettre de la Caisse suisse de compensation du 21 novembre 2005 (décision sur opposition du 27 avril 2006).
B. L'intéressée a déféré la décision sur opposition au Tribunal cantonal genevois des assurances sociales concluant à la confirmation de la décision d'octroi de rente ou à la constatation de la tardiveté de la demande de restitution ainsi qu'au renvoi de la cause à la caisse cantonale pour nouvelle décision comptabilisant les années 1983/1998 dans le calcul de la rente. Elle développait la même argumentation que durant la procédure d'opposition.
La juridiction cantonale a partiellement admis le recours (jugement du 1er février 2007). Elle a constaté la tardiveté de la décision de restitution dans la mesure où la SVA Zürich aurait du prendre conscience de son erreur lors de la demande d'informations formulée par la Caisse suisse de compensation en avril 2004. Le délai de prescription étant arrivé à échéance au plus tard le 1er mai 2005, elle en a déduit la péremption du droit d'exiger la restitution des prestations versées avant le 1er janvier 2005. Pour les prestations postérieures à cette date, elle a retourné le dossier à la caisse cantonale dès lors qu'elle ne possédait pas assez d'éléments pour déterminer, dans le cadre d'une remise de l'obligation de restituer, l'influence de la restitution sur la situation financière de D._ H._, la bonne foi de cette dernière n'étant par ailleurs pas contestée.
C. La SVA Zürich et l'assurée ont interjeté un recours en matière de droit public à l'encontre de ce jugement.
La caisse cantonale en a requis l'annulation et a implicitement conclu à la confirmation de la décision litigieuse (cause 9C_59/2007). Elle reprenait pour l'essentiel le même raisonnement qu'auparavant et fixait désormais le début du délai de péremption au 31 mai 2005. L'intéressée a conclu au rejet du recours estimant notamment qu'au regard des dispositions légales régissant le choix de la langue de la procédure, la SVA Zürich aurait dû rédiger son mémoire en français.
D._ H._ a requis l'annulation du jugement du 1er février 2007 et a conclu, sous suite de frais et dépens, à la confirmation de la décision d'octroi de rente, à titre subsidiaire, à la constatation de la tardiveté de la demande de restitution et, plus subsidiairement, au renvoi de la cause à la juridiction cantonale pour nouvelle décision au sens des considérants (cause 9C_90/2007). Elle faisait valoir qu'en ne statuant pas sur la question du maintien de la rente octroyée par décision du 11 novembre 2003, les conditions relatives à la protection de sa bonne foi étant par ailleurs réunies, les premiers juges avaient commis un déni de justice. Elle leur reprochait encore une violation de l'<ref-law> dans la mesure où ils auraient également dû constater la péremption du droit d'exiger la restitution des prestations versées entre le 1er janvier 2005 et le 31 janvier 2006. La caisse cantonale a renoncé à se déterminer.
L'Office fédéral des assurances sociales s'est rallié à l'argumentation de la SVA Zürich et a conclu au rejet du recours de l'assurée. Il constatait que la période durant laquelle cette dernière avait travaillé pour X._ et possédait la nationalité tchécoslovaque ne pouvait être retenue dans le calcul de la rente, les conditions d'assurance n'étant pas remplies. Se référant aux pièces déposées céans, il notait encore que l'intéressée avait requis et obtenu l'exemption de l'assujettissement à l'AVS en 1983, une fois la nationalité suisse acquise.

Considérant en droit:
1. Les recours en matière de droit public (<ref-law>) concernent des faits de même nature, portent sur des questions juridiques communes et sont dirigés contre le même jugement, de sorte qu'il se justifie de joindre les causes et de les liquider dans un seul arrêt (<ref-ruling> consid. 1 p. 60, 128 V 192 consid. 1 p. 194, 128 V 124 consid. 1 p. 126, 123 V 214 consid. 1 p. 215 et les références).
2. Aux termes de l'<ref-law>, le recours en matière de droit public peut être formé pour violation du droit fédéral qui comprend les droits fondamentaux des citoyens (cf. art. 106 al. 2 in initio LTF). Les autres motifs énoncés à l'art. 95 let. b à e LTF n'entrent pas en considération en l'espèce. Le Tribunal fédéral applique le droit d'office (<ref-law>) et n'est pas limité par les arguments du recourant ni par la motivation de l'autorité précédente (<ref-ruling> consid. 1.4 p. 140). Eu égard à l'exigence de motivation prévue à l'<ref-law>, il n'examine en principe que les griefs invoqués. Conformément à l'<ref-law> et à la pratique qui prévalait en matière de recours de droit public, ce principe d'allégation vaut plus particulièrement pour la violation des droits constitutionnels qui doivent être expressément soulevés et exposés de façon claire et détaillée dans le mémoire de recours (cf. <ref-ruling> consid. 2.1 p. 31, 258 consid. 1.3 p. 261 s., 129 I 113 consid. 2.1 p. 120; Message, FF 2001 p. 4142). Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
3. D._ H._ se plaint préalablement d'une violation des <ref-law> (dans sa teneur en vigueur dès le 1er janvier 2007) et 37 PA (dans sa teneur en vigueur jusqu'à son abrogation le 31 décembre 2006) relatifs au choix de la langue de la procédure et met en doute la recevabilité du recours de la SVA Zürich rédigé en allemand plutôt qu'en français.
Dès lors qu'elle ne se plaint d'une violation du droit fédéral qu'en relation avec le recours déposé le 6 mars 2007 et que les nouvelles règles de procédure sont applicables à tous les cas pendants au moment de leur entrée en vigueur (<ref-ruling> consid. 2.2 p. 96, 130 V 1 consid. 3.2 p. 4, 215 consid. 3.2 p. 220 sv., 129 V 113 consid. 2.2 p. 115 et les références), l'assurée aurait dû invoquer l'<ref-law> selon lequel la procédure, devant le Tribunal fédéral, est conduite dans l'une des langues officielles, en général celle de la décision attaquée. Cela n'a cependant pas d'incidence puisque ces articles, relativement à leur champ d'application, ont un contenu identique et désignent tous deux le français comme langue de la procédure.
On relèvera à cet égard que la procédure fédérale a bien été conduite en français conformément à la loi et comme le démontrent toutes les communications et ordonnances figurant au dossier. On notera encore que le mémoire de recours critiqué ne saurait être regardé comme un acte faisant partie de la «conduite de la procédure» à proprement parler et est pleinement recevable du moment qu'il est rédigé dans une langue officielle comme le prévoit l'<ref-law>. On ajoutera enfin que le Tribunal fédéral des assurances a considéré que les caisses cantonales de compensation - qui collaborent effectivement à l'application de la LAVS - ne faisaient pas partie de l'administration fédérale - qui est censée utiliser la langue officielle dans laquelle un administré s'exprime lorsqu'elle correspond avec lui - et disposaient d'une large autonomie du point de vue de leur organisation, de sorte que l'on ne pouvait reprocher à la caisse de compensation d'un canton alémanique - dont l'allemand est la seule langue officielle - de s'adresser aux administrés dans cette langue (<ref-ruling> consid. 1 p. 208). Les arguments de l'intéressée sur ce point doivent donc être écartés.
4. La SVA Zürich se plaint d'une violation de l'<ref-law>. Elle reproche aux premiers juges d'avoir retenu le mois d'avril 2004 comme point de départ du délai de péremption et soutient qu'il ne lui a pas été possible de se rendre compte de son erreur avant le 31 mai 2005.
Au regard des principes jurisprudentiels correctement exposés par la juridiction cantonale, il ne saurait être question de faire remonter le délai de péremption au jour de la décision d'octroi de rente ni au 16 avril 2004, date à laquelle la Caisse suisse de compensation avait uniquement requis la production de certains documents figurant au dossier. Cette requête ne contenait en effet aucun élément pouvant inciter la caisse cantonale à vérifier la décision du 11 novembre 2003 ou à en examiner à nouveau la teneur. Ce n'est que le 31 mai 2005 que la Caisse suisse de compensation avait expressément attiré l'attention de la SVA Zürich sur une éventuelle erreur en lui demandant de contrôler l'influence des années de travail à X._ sur le calcul de la rente. Le droit de demander la restitution des prestations versées à tort était donc périmé le 1er juin 2006 au plus tôt.
En agissant le 17 janvier précédent, la caisse cantonale a respecté le délai d'une année prévu à l'<ref-law>. Sa décision remplissant de surcroît les conditions d'une reconsidération, elle était ainsi en droit de réclamer la restitution des prestations indûment versées entre novembre 2003 et janvier 2006. L'acte attaqué doit donc être annulé sur ce point.
5. D._ H._ reproche encore aux premiers juges d'avoir commis un déni de justice en ne statuant pas sur la question du maintien de la rente octroyée dans la mesure où les conditions relatives à la protection de sa bonne foi étaient réunies.
Selon la jurisprudence, une autorité qui refuse indûment de statuer sur une requête dont l'examen relève de sa compétence commet un déni de justice formel prohibé par l'art. 29 al. 1 Cst. (<ref-ruling> consid. 2b p. 102 sv., 117 Ia 116 consid. 3a p. 117 sv. et les références). L'interdiction du déni de justice est un droit de nature formelle dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment du fond (<ref-ruling> consid. 2a p. 232 et les références).
L'assurée n'a effectivement cessé de conclure au maintien de la décision d'octroi de rente tout au long de la procédure prétextant que les conditions mises à la protection de sa bonne foi étaient remplies. Cependant, contrairement à ce que prétend cette dernière, la juridiction cantonale a bel et bien statué sur cette conclusion. Elle n'a certes pas répondu précisément à tous les griefs soulevés par l'intéressée, mais on ne saurait le lui reprocher dans la mesure où ceux-ci manquent singulièrement de clarté. Ainsi, un renseignement ou une décision erronés peuvent à certaines conditions obliger l'administration à consentir à un administré un avantage contraire à la loi (<ref-ruling> consid. 3a p. 36, 121 V 65 consid. 2a p. 66 sv. et les références). Toutefois, même si toutes les conditions de la protection de la bonne foi sont réalisées, l'exigence d'une saine gestion de l'assurance sociale peut l'emporter sur celle-ci lorsque la pesée des intérêts en présence le justifie (<ref-ruling> consid. 3c p. 187; RDAF 1984 p. 121 consid. 3b et les références; arrêts C 69/96 du 20 novembre 1997 et C 80/96 du 29 avril 1997). Il apparaît dans ce cadre que les premiers juges ont à juste titre nié la réalisation des conditions nécessaires à la protection de la bonne foi. En effet, les seules dispositions qui ne sauraient être modifiées sans subir de préjudice invoquées par D._ H._ sont d'ordre organisationnel et se rapportent à la planification de sa retraite. Celles-ci sont abstraites et aucunement documentées. On ajoutera qu'il peut être remédié à de telles expectatives par un changement de mode de vie qui aurait de toute façon dû être adopté si l'erreur initiale n'avait pas été commise. De surcroît, l'invocation de l'omission des autorités d'avertir l'assurée de son obligation de cotiser à l'AVS suite à sa naturalisation ne saurait justifier la poursuite du versement des prestations telles que calculées dans la décision du 11 novembre 2003 puisqu'un tel devoir de renseigner, comme l'a relevé la juridiction cantonale, ne pouvait être imposé aux différentes autorités intervenues en 1983. La production par l'Office fédéral des assurances sociales de la requête d'exemption de l'assujettissement à l'AVS, remplie par l'intéressée le 26 octobre 1983, ainsi que les documents et la décision afférente confirment du reste que celle-ci ne pouvait se prévaloir de sa bonne foi. Il ne saurait dès lors être question d'un déni de justice de sorte que le recours de D._ H._ doit être rejeté sur ce point également.
6. Il ressort de ce qui précède que la décision litigieuse du 27 avril 2006 doit être confirmée, le droit d'exiger la restitution des prestations versées à tort n'étant pas périmé (cf. consid. 4) et celui à la protection de la bonne foi ne pouvant être invoqué (cf. consid. 5). Le recours de l'assurée doit ainsi être rejeté et celui de la SVA Zürich admis. Pour le surplus, il appartiendra à la caisse cantonale de statuer sur la demande de remise de l'obligation de restituer, que l'intéressée a d'ailleurs déposée simultanément à son opposition, conformément aux conclusions concordantes des parties, cette question sortant de l'objet de la contestation tel que défini par la décision sur opposition.
7. La procédure est onéreuse (<ref-law>). D._ H._ qui succombe doit en supporter les frais (<ref-law>). Représentée par un avocat, elle ne saurait en outre prétendre de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 9C_59/2007 et 9C_90/2007 sont jointes.
2. Le recours en matière de droit public de la Caisse de compensation de l'Office des assurances sociales du canton de Zurich est admis (cause 9C_59/2007) et le jugement du Tribunal cantonal genevois des assurances sociales du 1er février 2007 est annulé.
3. Le recours en matière de droit public de D._ H._ est rejeté (cause 9C_90/2007).
4. Les frais de procédure, arrêtés globalement à 1'000 fr., sont mis à la charge de D._ H._.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal genevois des assurances sociales et à l'Office fédéral des assurances sociales.
Lucerne, le 30 janvier 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Cretton