Faits:
A. Né le 1er novembre 1982, ressortissant moldave, X._, alias Y._, est venu à Genève en 2006 et a été depuis lors condamné à six reprises par les autorités pénales pour dommages à la propriété, faux dans les certificats, vol, vol en bande, actes préparatoires délictueux de brigandage, recel et infractions aux législations fédérales sur les stupéfiants et sur les étrangers.
Sur le plan administratif, X._ a fait l'objet en novembre 2008 d'une interdiction d'entrée en Suisse valable jusqu'au 2 septembre 2013 et de plusieurs décisions de renvoi, à savoir: le 6 novembre 2008, avec mandat d'exécution à la police; le 3 mars 2009, renvoi exécuté vers la France; le 4 mars 2010, renvoi exécuté vers la Moldavie; la dernière décision rendue par l'Office cantonale genevois de la population date du 4 août 2010, la police ayant été chargée de l'exécuter dès la remise en liberté de l'intéressé alors détenu pénalement.
B. Libéré le 27 juin 2011, X._ a refusé de monter dans l'avion à destination de Chisinau le 28 juin 2011. L'Officier de police a ordonné le jour-même sa mise en détention administrative pour une durée de 3 mois, soit jusqu'au 27 septembre 2011. Cette décision a été confirmée le 30 juin 2011 par le Tribunal administratif de première instance du canton de Genève. Le recours interjeté par X._ contre ce jugement a été rejeté, le 20 juillet 2011, par la Chambre administrative de la Cour de justice du canton de Genève.
C. A l'encontre de l'arrêt du 20 juillet 2011, X._ forme un recours en matière de droit public au Tribunal fédéral, dans lequel il conclut principalement à l'annulation de la décision entreprise et à ce que sa libération immédiate soit ordonnée, subsidiairement à ce que la cause soit renvoyée à la Cour de justice au sens des considérants. Il demande par ailleurs le bénéfice de l'assistance judiciaire.
La requête de mesures provisionnelles tendant à bloquer l'exécution du renvoi formée par X._ a été rejetée par ordonnance du Tribunal fédéral du 22 août 2011.
L'Office cantonal genevois de la population n'a pas présenté d'observations, à l'instar de la Cour de justice. L'Officier de police propose de confirmer l'arrêt attaqué. L'Office fédéral des migrations n'a pas répondu dans le délai imparti à cet effet. Au terme de sa prise de position finale, X._ déclare persister dans les conclusions et la motivation de son recours.

Considérant en droit:
1. En matière de mesures de contrainte, le recours en matière de droit public est en principe ouvert (<ref-law>; arrêt 2C_10/2009 du 5 février 2009 consid. 2, non publié aux <ref-ruling>). Dirigé contre un arrêt final, émanant d'une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF), le présent recours a été formé en temps utile (<ref-law>) et dans les formes requises (art. 42 LEtr) par le recourant qui, placé en détention, a indéniablement qualité pour agir (<ref-law>). Il est donc en principe recevable.
2. L'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées ou démontrer en quoi les faits ont été établis arbitrairement (<ref-law>; <ref-ruling> consid. 4.1.2 p. 62). Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En outre, aux termes de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
Hormis les critiques dirigées spécifiquement à l'encontre de certains faits (cf. infra consid. 4.1), le Tribunal fédéral ne tiendra pas compte de l'appréciation personnelle de la situation sur laquelle s'appuie le recourant. Quant aux pièces nouvelles produites pour la première fois devant le Tribunal fédéral, elles sont irrecevables. Sous ces réserves, il convient d'entrer en matière.
3. A juste titre, le recourant, qui fait l'objet d'une décision de renvoi exécutoire, ne remet pas en cause le principe même de sa détention administrative fondée sur l'art. 76 al. 1 let. b LEtr. Condamné à plusieurs reprises pour des crimes au sens de l'<ref-law>, il remplit clairement les conditions prévues à l'art. 76 al. 1 let. b ch. 1, en relation avec l'art. 75 al. 1 let. h LEtr. En outre, sa détention se justifie également sous l'angle de l'art. 76 al. 1 let. b ch. 3 et 4 LEtr, puisqu'il a déjà disparu par le passé dans la clandestinité et qu'il a clairement déclaré qu'il refusait de rentrer en Moldavie (cf. <ref-ruling> consid. 3.1 p. 58 s.).
La détention, prononcée pour trois mois, n'excède en outre pas la durée maximale de six mois prévue à l'art. 79 al. 1 LEtr. Elle paraît en l'état proportionnée et nécessaire, dès lors que l'opposition du recourant impose un renvoi par vol spécial, qui nécessite un certain temps pour être mis en place.
Enfin, rien n'indique que les autorités n'agissent pas avec célérité, comme le leur impose l'art. 76 al. 3 LEtr; l'arrêt attaqué retient du reste que les préparatifs en vue du renvoi du recourant par vol spécial sont en cours, ce que celui-ci ne conteste pas.
4. Le recourant ne s'en prend pas tant à sa détention administrative, qu'au renvoi qu'elle doit permettre d'assurer. Il soutient en substance que les risques pour sa sécurité en cas de retour en Moldavie et son état de santé rendent ce renvoi impossible au sens de l'art. 80 al. 6 let. a LEtr.
4.1 Avant de déterminer si l'autorité cantonale a violé le droit fédéral en ne faisant pas application de cette disposition, il est nécessaire d'examiner les critiques du recourant concernant les faits déterminants retenus dans l'arrêt attaqué pour nier l'impossibilité du renvoi. Celui-ci invoque à cet égard une violation de la maxime d'office, ainsi que l'arbitraire dans l'appréciation des preuves.
4.1.1 La maxime d'office, applicable de manière générale en matière administrative, est tempérée par le devoir de collaboration des parties à l'établissement des faits (cf. <ref-ruling> consid. 2b p. 142; <ref-ruling> consid. 1a p. 360), qui est particulièrement renforcé lorsqu'il s'agit d'établir des faits que les parties sont mieux à même de connaître que l'autorité (arrêts 2C_118/2009 du 15 septembre 2009 consid. 4.2 et 2A.404/2004 du 18 février 2005 consid. 3.2 non publié in <ref-ruling>).
Quant à l'appréciation des preuves, elle est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier ou contraire au sens de la justice et de l'équité, ou encore lorsque le juge a interprété les pièces du dossier de manière insoutenable, a méconnu des preuves pertinentes ou s'est fondé exclusivement sur une partie des moyens de preuve (<ref-ruling> consid. 4.3 p. 62). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2.2.2 p. 318 s.).
4.1.2 Sous l'angle d'une violation de la maxime d'office, le recourant reproche aux juges cantonaux d'avoir mis en doute l'authenticité de deux certificats médicaux produits en copie, sans lui impartir de délai pour fournir les originaux et d'avoir évalué son état de santé mentale sur la base de ses propres déclarations à la police, sans se renseigner directement auprès de lui et de ses médecins.
En l'espèce, le recourant, qui soutenait avoir été maltraité par la police moldave lors de ses deux renvois précédents, se devait de produire les pièces les plus probantes en sa possession démontrant des maltraitances. Or, bien que détenteur des certificats médicaux datant de 2004 et 2010, il a non seulement attendu d'être devant la dernière instance cantonale avant de fournir ces pièces, mais il a produit des copies. Dans ces circonstances, on ne voit pas que la maxime d'office imposait à la Cour de justice de lui octroyer encore un délai supplémentaire pour fournir les originaux; quant aux doutes émis sur l'authenticité de ces documents, ils relèvent de l'examen de l'arbitraire et seront examinés ci-après.
Pour évaluer les troubles psychiques du recourant, les juges ne se sont pas uniquement fondés sur les propos de l'intéressé lui-même, comme il le prétend, mais aussi sur un rapport d'évaluation médico-psychologique du 11 juillet 2011 établi par le Dr. A._ et en ont admis l'existence. On ne voit donc pas en quoi on pourrait leur reprocher d'avoir violé la maxime d'office en ne demandant pas des renseignements complémentaires. Quant au point de savoir si les juges n'ont pas minimisé l'état psychique du recourant, comme il le prétend, c'est une question qui se confond également avec l'examen de l'arbitraire.
Le grief lié à la violation de la maxime d'office est donc infondé.
4.1.3 Sous l'angle de l'arbitraire, le recourant reproche à la Cour de justice d'avoir mis en doute l'authenticité des certificats médicaux moldaves de 2004 et 2010 produits en copie et qui confirmeraient qu'il a été victime de violences par la police, notamment en mars 2010 lors de son renvoi précédent.
Les juges cantonaux ont considéré que l'allégation du recourant, selon laquelle il aurait déjà été maltraité par la police de son pays en 2004 et 2010 n'était pas établie. Pour aboutir à cette conclusion, ils ont certes mis en doute l'authenticité de ces documents, en particulier du certificat de 2010 en raison de sa similitude avec le premier. Toutefois, la Cour de justice a également trouvé curieux que le recourant n'ait pas produit ces documents avant; elle a aussi retenu que le recourant avait lui-même expliqué à la police qu'après son refoulement en Moldavie au printemps 2010, il s'était rendu en Roumanie, car il avait eu des problèmes avec la police à la suite d'une bagarre liée à une dette d'argent qu'il n'avait pas voulu honorer.
Ces éléments démontrent que, même à supposer que les certificats soient authentiques, la conclusion de l'arrêt attaqué selon laquelle il n'était pas établi que le recourant serait exposé à un risque concret de violences policières en cas de retour dans son pays ne peut être qualifiée d'insoutenable. En effet, les lésions attestées n'ont pas forcément été causées par la police, mais peuvent tout aussi bien avoir eu pour origine la bagarre avec les créanciers dont le recourant a relaté l'existence. En outre, celui-ci n'explique pas pourquoi il a produit ces documents si tardivement. Il n'y a donc en tout les cas pas d'arbitraire dans le résultat.
4.1.4 Le recourant remet également en cause l'appréciation de la Cour de justice quant à son état psychique. L'arrêt attaqué admet que le recourant souffre d'atteinte à sa santé mentale, mais retient que le niveau de gravité de son état est en relation directe avec la situation de détention actuelle, provoquée par son refus de se soumettre à l'ordre qui lui est donné de quitter la Suisse.
Contrairement à ce que soutient le recourant, le fait qu'il ait déjà été hospitalisé à plusieurs reprises en Suisse auparavant dans une unité psychiatrique ne démontre pas l'arbitraire du lien établi entre ses troubles actuels et la détention en vue de son renvoi. En effet, depuis 2008, ce qui correspond à ses premières hospitalisations, il a aussi été fréquemment détenu et a fait l'objet de plusieurs décisions de renvoi, dont certaines ont été exécutées en vain, puisque le recourant est revenu. Ces événements n'excluent donc nullement que les troubles du recourant, même antérieurs à la présente détention, aient déjà eu les mêmes causes. Le grief est dès lors infondé.
4.1.5 Dans une dernière critique relative aux faits, le recourant conteste l'appréciation des juges selon laquelle, bien que le système de santé en Moldavie comporte notoirement des lacunes importantes, les pathologies dont il souffre ne sont pas suffisantes pour faire apparaître son renvoi comme impossible. Pour toute motivation, il se focalise sur la constatation selon laquelle le système de santé en Moldavie est lacunaire. Une telle motivation n'est pas suffisante en regard de l'<ref-law>, dès lors qu'elle ne démontre en rien que les troubles psychiques et l'hépatite B dont souffre le recourant, mais pour laquelle il ne reçoit pas de soins, rendrait insoutenable de retenir que son état de santé ne fait pas obstacle à son retour en Moldavie. Du reste, comme l'a retenu la Cour de justice, ses problèmes de santé ne l'ont nullement entravé dans ses multiples déplacements en Europe (Russie, Roumaine, Hongrie, Autriche, France et Italie) ces dernières années.
Le recourant n'a ainsi soulevé aucun élément justifiant de s'écarter des faits ressortant de l'arrêt attaqué.
4.2 Sur la base de ceux-ci, il convient encore de vérifier si la Cour de justice a violé le droit fédéral en refusant de libérer le recourant au motif que le renvoi était impossible.
4.2.1 Selon l'art. 80 al. 6 let. a LEtr, la détention est levée notamment lorsque l'exécution du renvoi ou de l'expulsion s'avère impossible pour des raisons juridiques ou matérielles. Conformément à la jurisprudence, ces raisons doivent être importantes ("triftige Gründe"); il ne suffit pas que l'exécution du renvoi soit momentanément impossible (par exemple faute de papiers d'identité), tout en restant envisageable dans un délai prévisible; l'exécution du renvoi doit être qualifiée d'impossible lorsque le rapatriement est pratiquement exclu, même si l'identité et la nationalité de l'étranger sont connues et que les papiers voulus peuvent être obtenus (arrêts 2C_974/2010 du 11 janvier 2011 consid. 3.1; 2C_538/2010 du 19 juillet 2010 consid. 3.1). Des raisons de santé importantes, rendant impossible le transport du détenu pendant une longue période (cf. arrêts 2C_386/2010 du 1er juin 2010 consid. 4; 2C_542/2008 du 26 août 2008 consid. 3.1), ou une mise en danger concrète de l'intéressé en cas de retour dans son pays d'origine peuvent constituer de telles raisons (cf. <ref-ruling> consid. 2 p. 220). Il ne faut toutefois pas perdre de vue que l'objet de la procédure porte sur la détention administrative en tant que telle et non pas en principe sur les questions relatives à l'asile ou au renvoi; les objections concernant ces domaines doivent être invoquées et examinées par les autorités compétentes lors des procédures ad hoc. Ce n'est que si une décision de renvoi apparaît manifestement inadmissible, soit arbitraire ou nulle que le juge peut lever la détention administrative pour ce motif, car l'exécution d'un tel ordre illicite ne doit pas être assurée par les mesures de contrainte (cf. <ref-ruling> consid. 2 p. 220; arrêt 2C_756/2009 du 15 décembre 2009 consid. 2.2).
4.3 L'arrêt attaqué tient pour non établi que l'intéressé serait exposé à un risque concret pour sa sécurité en cas de retour dans son pays d'origine. Quant aux atteintes à sa santé (hépatite C; troubles psychiques), les juges, tout en admettant leur existence, ont considéré qu'elles ne constituaient pas une cause rendant à l'évidence son renvoi impossible. Ainsi, en ce qui concerne l'hépatite C, le recourant avait seulement envisagé un traitement, mais n'était pas pris en charge pour cette affection, qu'il avait invoquée pour la première fois pour s'opposer à son renvoi, alors qu'elle avait été diagnostiquée en 2008. Quant aux troubles de santé psychique, leur niveau de gravité était, selon les juges cantonaux, en relation directe avec la détention de l'intéressé, due à son refus de se soumettre à l'ordre de quitter la Suisse.
Sur la base de ces constatations, on ne voit pas que l'on puisse reprocher à la Cour de justice, compte tenu du pouvoir d'examen limité dévolu au juge de la détention administrative (cf. supra consid. 4.2.1), de n'avoir pas admis l'existence d'une cause d'impossibilité au sens de l'art. 80 al. 6 let. a LEtr justifiant la libération immédiate du recourant.
4.4 Contrairement à ce que soutient le recourant, qui se fonde sur une autre version des faits, les constatations cantonales excluent une situation relevant de l'art. 3 CEDH. Par ailleurs, il perd de vue que la présente procédure a pour objet le contrôle de sa détention administrative et ne permet pas de revoir librement la décision de renvoi exécutoire qui lui a été notifiée en août 2010, ni de statuer sur les conditions d'une admission provisoire en application de l'art. 83 LEtr.
5. Dans ces circonstances le recours doit être rejeté dans la mesure où il est recevable. Dès lors que les conclusions étaient d'emblée vouées à l'échec, la demande d'assistance judiciaire doit aussi être rejetée (<ref-law>). Compte tenu de la situation du recourant, il sera toutefois statué sans frais (art. 66 al. 1 in fine LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué aux mandataires du recourant, à l'Officier de police, au Tribunal administratif de première instance, à l'Office cantonal de la population et à la Cour de justice du canton de Genève, Chambre administrative, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 5 septembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Addy