Faits: A. X._, ressortissante française et russe, divorcée de Y._, de nationalité russe, avec lequel elle a eu deux enfants nés en 1990 et 1994, s'est vu attribuer la garde sur ces derniers par décisions de justice américaine prononcées en 1997, tandis que son ex-époux a obtenu des droits de visite et d'hébergement. Le 13 mai 1999, les Etats-Unis d'Amérique ont délivré un mandat d'arrêt à l'encontre de X._ fondé sur un acte d'accusation daté de la veille, dans lequel il lui était reproché d'avoir violé des décisions de justice relatives aux droits parentaux du père. Sur la base de ce mandat, Interpol a été requis d'appréhender X._. Par jugement par défaut rendu le 20 août 1999, lequel n'a pas été formellement notifié à X._, un tribunal civil américain a transféré l'autorité parentale au père des enfants. X._ a été interpellée le 18 octobre 2006 sur territoire suisse et placée en détention provisoire à titre extraditionnel. Les autorités américaines ont saisi l'Office fédéral de la Justice (ci-après: l'Office fédéral) d'une demande d'arrestation provisoire en date du 3 novembre 2006, puis - après avoir sollicité et obtenu une prolongation de délai pour ce faire les 20 et 21 novembre 2006 (art. 105 al. 2 LTF) - d'une demande formelle d'extradition le 29 novembre 2006. Le 7 décembre 2006, l'intéressée s'est opposée à son extradition simplifiée et a formé une demande de mise en liberté, respectivement d'élargissement; le 8 décembre 2006, elle a en outre conclu au rejet de la demande d'extradition et à sa libération immédiate. Le 14 décembre 2006, l'Office fédéral a invité par voie téléphonique les autorités américaines à produire un nouvel acte d'accusation couvrant la période postérieure au 12 mai 1999. Par décision du 19 décembre 2006, l'Office fédéral a rejeté la demande de mise en liberté formée par X._, qui a recouru contre cette décision auprès du Tribunal pénal fédéral. Ce dernier, par arrêt du 11 janvier 2007, a ordonné la libération de l'intéressée, considérant que la détention devait impérativement prendre fin, car une pièce essentielle à la demande d'extradition - en l'occurrence le nouvel acte d'accusation sollicité par l'Office fédéral - n'avait pas été transmise à son appui dans les soixante jours, soit jusqu'au 17 décembre 2006 (cf. arrêt du Tribunal pénal fédéral BH.2006.33, consid. 4.6; arrêt 1C_1/2007 du 22 janvier 2007 consid. 3 déclarant irrecevable le recours de l'Office fédéral contre l'arrêt du 11 janvier 2007). Le 11 janvier 2007 également, les autorités américaines ont produit par téléfax un mandat d'arrêt ainsi qu'un nouvel acte d'accusation, émis le 20 décembre 2006, reprochant à X._ de ne pas avoir respecté le droit de visite et le droit de garde successivement attribués à son ex-époux sur leurs enfants. L'Office fédéral a ordonné la mise en détention provisoire de celle-ci le même jour encore. Le 16 janvier 2007, l'Office fédéral a reçu en original les pièces transmises par fax et a établi un nouveau mandat d'arrêt, contre lequel X._ a formé recours auprès du Tribunal pénal fédéral. Ce dernier a ordonné sa libération immédiate par arrêt du 29 janvier 2007, au motif que l'intéressée aurait dû être libérée le 18 décembre 2006 et que la détention subie à partir de cette date s'avérait être illégale (cf. arrêt du Tribunal pénal fédéral RR.2007.1, consid. 3.3.2); n'ayant pas recouru contre cette décision, l'Office fédéral a levé l'écrou le 30 janvier 2007. B. B.a. Le 11 janvier 2008, X._ a formé une demande d'indemnisation auprès de la Confédération, concluant au versement de 256'920 fr. pour ses frais de défense et le dommage matériel subi du fait de sa détention, d'une indemnité pour tort moral de 50'000 fr. ainsi que de 16'190 fr. à titre de participation aux honoraires d'avocat pour la procédure en indemnisation (art. 105 al. 2 LTF). L'Office fédéral a rejeté cette demande le 6 août 2008, tout en octroyant à l'intéressée la somme de 15'000 fr. pour la couverture de ses frais de défense. Saisi d'un recours de X._ contre la décision du 6 août 2008, le Tribunal pénal fédéral l'a partiellement admis par arrêt du 29 [ recte: 2] juin 2009, en tant qu'il portait sur la période de détention du 18 octobre au 30 novembre 2006, et a condamné l'Office fédéral à s'acquitter de la somme de 11'000 fr. à titre d'indemnité pour détention injustifiée. Considérant pour le surplus que la détention était devenue illégale à partir du 1er décembre 2006 (art. 105 al. 2 LTF), le Tribunal pénal fédéral a transmis la cause au Département fédéral des finances (ci-après: le Département fédéral) comme objet de sa compétence, " en tant que la demande d'indemnité concerne la période de détention provisoire à titre extraditionnel s'étendant du 1 er décembre 2006 au 30 janvier 2007" (cf. arrêt du Tribunal pénal fédéral RR.2008.231, consid. 2.5 et ch. 2 du dispositif). B.b. Par décision du 1er juin 2010, le Département fédéral a rejeté la demande d'indemnisation du 11 janvier 2008, en tant qu'elle portait sur la détention postérieure au 30 novembre 2006. Par arrêt rendu le 13 mars 2012, le Tribunal administratif fédéral a admis le recours formé par X._ contre la décision du 1er juin 2010, qu'il a annulée, et a renvoyé la cause au Département fédéral pour nouvelle décision au sens des considérants. C. Le Département fédéral saisit le Tribunal fédéral d'un recours en matière de droit public à l'encontre de l'arrêt du Tribunal administratif fédéral du 13 mars 2012. Il conclut, avec suite de frais, à l'annulation de cet arrêt "dans la mesure où il déclare illicite (...) la période de détention provisoire de l'intimée du 1er au 17 décembre 2006", au rejet de la demande de dommages-intérêts et d'indemnité à titre de réparation morale de X._ relative à la période précitée. L'admission de son recours aboutissant à une approbation partielle de l'arrêt attaqué, il demande également la diminution du montant de l'indemnité de dépens de 10'000 fr. mise à sa charge dans l'arrêt querellé. Le Tribunal administratif fédéral renonce à se déterminer. X._ conclut, sous suite de frais et dépens, au déboutement du recourant de toutes ses conclusions. Dans le cadre d'un échange d'écritures portant sur l'éventuel caractère injustifié de la détention extraditionnelle du 1er au 17 décembre 2006, le Département fédéral a estimé que, dans l'hypothèse où la Cour de céans accueillerait son recours contre l'arrêt du 13 mars 2012, la question d'une indemnisation pour détention injustifiée se poserait et devrait être traitée par l'Office fédéral. Persistant dans ses conclusions, X._ a demandé le déboutement du Département et de l'Office fédéraux de leurs conclusions. Le Tribunal administratif fédéral a pour sa part renoncé à formuler des observations complémentaires. Invité à se déterminer, l'Office fédéral a en substance considéré que la détention de l'intimée n'avait jamais été injustifiée et encore moins illicite. Les participants ont reçu copie de ces observations.