Faits: A. A._, ressortissant dpéruvien, est entré en Suisse en novembre 1981. Il a cotisé au régime suisse de sécurité sociale. Il a épousé en décembre 1994 B._, ressortissante britannique, établie et travaillant en Suisse depuis novembre 1973. S'il apparaît qu'il a exercé différentes activités lucratives en Suisse, tel n'est plus le cas depuis 1997, au moins. Sollicitée, la Caisse cantonale vaudoise de compensation a alloué des rentes de vieillesse aux époux, à partir du 1er juillet 2009 pour l'épouse (décision du 5 juin 2009) et du 1er avril 2006 pour l'époux (décision du 12 juin 2009). Compétente depuis l'installation du couple en Grande-Bretagne en juillet 2010, la Caisse suisse de compensation (ci-après: la caisse) a supprimé la rente de l'époux (décision du 13 juillet 2010 confirmée sur opposition le 5 octobre 2010). Elle soutenait qu'il n'en remplissait plus les conditions d'octroi dès lors qu'il était de nationalité péruvienne, qu'il ne résidait plus en Suisse et qu'il n'existait aucune Convention de sécurité sociale entre le Pérou et la Suisse. B. Saisi d'un recours de A._ qui invoquait une violation de dispositions procédant du droit de la sécurité sociale de l'Union européenne et concluait au maintien de sa rente malgré le transfert de son domicile dans un autre pays, le Tribunal administratif fédéral, Cour III, l'a admis (jugement du 8 octobre 2012). C. L'Office fédéral des assurances sociales (OFAS) interjette un recours en matière de droit public contre ce jugement. Il en demande l'annulation et conclut à la confirmation de la décision sur opposition. A._ conclut au rejet sous suite de frais et dépens tandis que la caisse en propose l'admission.