Faits:
A. Par décision du 28 novembre 2008, l'Office cantonal genevois de l'assurance-invalidité (ci-après: l'office AI) a supprimé la rente entière versée à K._ depuis le 1er mai 2001. Il a par ailleurs retiré l'effet suspensif à un éventuel recours.
B. Par jugement du 26 mai 2009, le Tribunal cantonal genevois des assurances sociales a admis le recours interjeté le 13 janvier précédent par l'assurée, a annulé la décision litigieuse et a renvoyé la cause à l'office AI pour complément d'instruction au sens des considérants et nouvelle décision. Il a en outre condamné l'administration à payer à l'intéressée une indemnité de 2'250 fr. à titre de dépens et a rétabli la rente servie jusque-là.
C. L'office AI interjette un recours en matière de droit public contre ce jugement. Il en requiert l'annulation et conclut à la confirmation de la décision litigieuse. Il sollicite également l'octroi de l'effet suspensif au recours.
Sous suite de dépens, K._ conclut au refus de l'effet suspensif ainsi que, à titre principal, à l'irrecevabilité du recours ou, à titre subsidiaire, à son rejet. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (cf. art. 82 ss LTF) est recevable contre les décisions qui mettent fin à la procédure (art. 90 LTF), ainsi que contre les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation (art. 92 al. 1 LTF). Selon l'art. 93 al. 1 LTF, les autres décisions préjudicielles et incidentes notifiées séparément ne peuvent faire l'objet d'un recours que si elles peuvent causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
2. En tant que son dispositif admet le recours, annule la décision litigieuse et renvoie la cause à l'office recourant pour instruction complémentaire et nouvelle décision, le jugement entrepris céans doit être qualifié de décision incidente et ne peut être attaqué qu'aux conditions de l'art. 93 LTF (cf. ATF 133 V 477 consid. 4.2 p. 481).
3. 3.1 En l'espèce, le renvoi pour instruction complémentaire porte sur la mise en oeuvre d'une expertise psychiatrique. La juridiction cantonale a considéré, d'une part, que cette mesure probatoire était justifiée dès lors que l'état de santé de l'intimée n'avait pas été correctement et suffisamment instruit et, d'autre part, qu'il fallait confier la réalisation de la mesure à un autre expert que celui qui s'était déjà exprimé auparavant dès lors que le motif de récusation soulevé contre lui semblait admissible et que son travail n'était pas jugé convaincant. Les premiers juges ont également estimé que l'annulation de la décision avait pour conséquence, en l'état, de rétablir la rente versée à l'assurée depuis le mois de mai 2001.
3.2 L'administration soutient d'une manière générale que, par le rétablissement de la rente et le renvoi pour complément d'instruction, la juridiction cantonale impose ses vues sur la façon dont certains aspects de la cause doivent être tranchés, d'une part, et que les éléments à disposition permettent de résoudre immédiatement le litige au fond et d'éviter une perte conséquente en temps et en argent, d'autre part.
3.3 L'office recourant ne démontre toutefois pas concrètement en quoi les conditions de l'art. 93 al. 1 et 2 LTF seraient réalisées. Pour cette raison déjà, son argumentation n'est donc pas pertinente. De plus, le Tribunal fédéral a déjà eu l'occasion de préciser que les décisions relatives à l'administration de preuves - de nature factuelle et non juridique (cf. ATF 133 IV 139 consid. 4 p. 141 et ATF 131 I 57 consid. 1 p. 59) - ne causaient en principe pas de dommages irréparables au sens de l'art. 93 al. 1 LTF, qu'il s'agisse de décisions refusant ou ordonnant la mise en oeuvre d'un moyen de preuve déterminé, sauf si les décisions en question comportaient des instructions contraignantes sur la manière dont l'autorité devait trancher certains aspects du rapport litigieux (ATF 133 V 477 consid. 5.2 p. 483). Or, si les premiers juges imposent effectivement le rétablissement de la rente, en l'état, et la réalisation d'une expertise psychiatrique, pour les motifs invoqués, en précisant que celle-ci ne devait pas être confiée au praticien qui avait déjà été mandaté auparavant, on ne saurait dire qu'il s'agit là d'instructions contraignantes qui suppriment toute latitude de jugement à l'administration. Celle-ci est certes liée par le type de mesure probatoire à entreprendre, mais conserve une grande liberté dans la désignation de l'expert et, surtout, toute liberté dans la solution à apporter au litige. On ne voit en outre pas en quoi le rétablissement de la rente constituerait une instruction contraignante qui aurait une quelconque influence sur le sort de la cause. De surcroît, il n'est pas allégué que la reprise du versement des prestations serait constitutive d'un dommage irréparable, ce qui ne peut de toute façon pas être le cas dès lors que, suite à une décision de renvoi pour instruction complémentaire intervenant dans le cadre d'une procédure de révision, la modification du droit ne peut prendre effet qu'à compter du premier jour du deuxième mois qui suit la notification de la nouvelle décision (arrêt 9C_149/2009 du 14 juillet 2009 consid. 4.4 et les références). Enfin, le rétablissement de la rente par la juridiction cantonale - qui correspond à la restitution de l'effet suspensif retiré par la décision administrative - n'aurait pu être attaqué qu'aux conditions de l'art. 98 LTF. Or, tel n'a pas été le cas en l'espèce, raison pour laquelle la référence à l'ATF 106 V 18 n'est pas pertinente.
On ajoutera encore que l'ouverture d'un recours contre une décision incidente pour des motifs d'économie de procédure au sens de l'art. 93 al. 2 LTF constitue une exception qui doit être interprétée restrictivement (arrêt 8C_969/2008 du 2 mars 2009 consid. 1.2). Le Tribunal fédéral a d'ailleurs estimé que le renvoi pour instruction complémentaire et nouvelle décision ne se confondait en principe pas avec une procédure probatoire prenant un temps considérable et exigeant des frais importants (arrêt 9C_446/2007 du 5 décembre 2007 consid. 3). Rien ne démontre en l'occurrence que la mise en oeuvre de cette mesure engendrerait des frais ou une perte de temps excessifs.
4. L'administration soutient encore que la fixation des dépens à 2'250 fr., sans la moindre motivation, constitue une violation de son droit d'être entendu. Cependant, le recours en matière de droit public est irrecevable contre une décision de renvoi en tant qu'il porte sur le bien-fondé de la fixation des dépens alloués pour la procédure cantonale (cf. ATF 133 V 645). Si le litige ne devait plus être déféré à la juridiction cantonale à l'issue du complément d'instruction, un recours contre la nouvelle décision sur la question spécifique des dépens pourrait alors être interjeté directement au Tribunal fédéral (ATF 133 V 645 consid. 2.2 p. 648).
5. Vu l'issue du litige, les frais sont mis à la charge de l'office recourant (art. 66 al. 1 LTF) qui versera à l'intimée une indemnité à titre de dépens (art. 68 al. 1 LTF).
Le présent arrêt rend en outre sans objet la requête qui tendait à l'octroi suspensif au recours déposé céans.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'office recourant.
3. L'office recourant versera à l'intimée la somme de 1'400 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal genevois des assurances sociales et à l'Office fédéral des assurances sociales.
Lucerne, le 13 octobre 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Cretton