Faits:
A. Ressortissant turc né en 1967, X._ a déposé une demande d'asile en Suisse en 2002, qui a été définitivement rejetée le 23 avril 2004, un délai lui étant imparti au 21 juin 2004 pour quitter notre pays.
Après son mariage en novembre 2004 avec une ressortissante suisse, X._ a été mis au bénéfice d'une autorisation de séjour. Le couple s'est séparé en 2006.
Le 9 novembre 2007, X._ a demandé la prolongation de son autorisation de séjour, ce que lui a refusé l'Office cantonal de la population du canton de Genève (ci-après: l'Office cantonal), puis, sur recours, respectivement la Commission cantonale de recours en matière administrative et, le 1er mars 2011, la Cour de justice du canton de Genève (ci-après: la Cour de justice). Le recours formé par X._ à l'encontre de cette dernière décision a été déclaré irrecevable par le Tribunal fédéral le 19 avril 2011 (cause 2C_318/2011).
Le 21 juillet 2011, l'Office cantonal a fixé un nouveau délai de départ à X._ au 31 août 2011. Le prénommé a sollicité la prolongation de ce délai, en indiquant qu'il souffrait d'un état dépressif récurrent et qu'il envisageait de demander un permis humanitaire; l'autorité cantonale lui a répondu qu'il devait lui faire parvenir, d'ici à la fin du mois d'août, une demande de permis humanitaire ou se présenter avec un billet d'avion et son passeport le 30 août 2011, sous peine de s'exposer à d'éventuelles mesures de contrainte.
X._ ne s'étant pas manifesté, l'Office cantonal a mandaté la police pour exécuter son renvoi; un vol à destination d'Istanbul a été réservé à son intention pour le 25 octobre 2011.
Le 24 octobre 2011, les Hôpitaux universitaires genevois ont fait parvenir au mandataire de X._ un certificat médical résumant les problèmes psychiatriques de son client et les procédures en cours auprès de l'assurance-invalidité (ci-après: AI). Ce document se terminait par une requête tendant à obtenir un report du renvoi en Turquie en fonction de l'avancée du dossier AI.
X._ ayant fait état de la perte de son passeport, le vol réservé à son intention a dû être annulé.
Par lettre du 27 octobre 2011, l'Office cantonal a demandé au mandataire de X._ de fournir, avant la fin du mois de novembre 2011, un document de l'office AI attestant que sa présence à Genève était indispensable à la poursuite de la procédure AI. X._ était également prié de se faire établir un nouveau document de voyage et d'en remettre une copie avant la fin du mois de novembre 2011.
Ce courrier étant resté sans suite, l'Office cantonal a une nouvelle fois demandé à la police d'exécuter le renvoi de l'intéressé en Turquie. X._ n'a pas donné suite à une convocation de la police en février 2012.
Le 9 mars 2012, il n'a pas ouvert aux policiers chargés de perquisitionner son logement. Entrés de force, ceux-ci y ont trouvé son passeport annoncé comme perdu et ont interpellé l'intéressé.
Le jour-même, l'officier de police a ordonné la mise en détention de X._ pour un mois, décision qui a été confirmée d'abord par le Tribunal administratif de première instance, puis, le 30 mars 2012, par la Cour de justice.
Le 12 mars 2012, X._ a refusé de prendre place à bord d'un vol qui lui était réservé à destination de la Turquie.
B. Le 4 avril 2012, l'Office cantonal a demandé la prolongation de la détention administrative de X._ pour une durée de trois mois, en précisant être dans l'attente de la confirmation d'une place à bord d'un vol spécial pour le 9 juillet 2012 au plus tard, cette date correspondant à l'échéance de la validité du passeport de l'intéressé.
Par jugement du 5 avril 2012, le Tribunal administratif de première instance du canton de Genève a prolongé la détention administrative de X._ pour une durée de trois mois, soit jusqu'au 6 juillet 2012. Le recours déposé par celui-ci a été rejeté par la Cour de justice le 20 avril 2012.
C. A l'encontre de l'arrêt du 20 avril 2012, X._ forme un recours en matière de droit public au Tribunal fédéral, dans lequel il conclut à l'annulation de l'arrêt attaqué et à ce que sa mise en liberté soit ordonnée, subsidiairement au renvoi de la cause à l'autorité cantonale pour qu'elle statue dans le sens des considérants, sous suite de frais et dépens. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
L'Office cantonal et l'Officier de police n'ont pas formulé d'observations, à l'instar de la Cour de justice, qui a au surplus déclaré persister dans les termes de son arrêt. L'Office fédéral des migrations n'a pas pris position. X._ a produit des observations finales, dans lesquelles il se prévaut une nouvelle fois de la dégradation de son état de santé; il confirme ses conclusions et demande au surplus sa mise en liberté immédiate à titre de mesures provisionnelles.

Considérant en droit:
1. En matière de mesures de contrainte, le recours en matière de droit public est en principe ouvert (art. 82 ss LTF; arrêt 2C_10/2009 du 5 février 2009 consid. 2, non publié aux <ref-ruling>).
Dirigé contre un arrêt final, émanant d'une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF), le présent recours a été formé en temps utile (art. 100 LTF) et dans les formes requises (art. 42 LTF) par le recourant dont la détention administrative a été prolongée de trois mois, de sorte qu'il a un intérêt actuel digne de protection à agir (art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
2. Saisi d'un recours en matière droit public, le Tribunal fédéral vérifie librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Aux termes de cet alinéa, il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. Par ailleurs, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ceux-ci aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Le recourant qui entend critiquer les constatations de fait doit démonter la réalisation de ces conditions (cf. art. 97 al. 1 LTF). Le Tribunal fédéral n'entre pas en matière sur des griefs de nature appellatoire (<ref-ruling> consid. 5.2.2 p. 322).
3. 3.1 L'arrêt attaqué confirme la prolongation de la détention administrative du recourant, qui a débuté le 9 mars 2012 pour une durée de trois mois, soit jusqu'au 6 juillet 2012, en application des articles 76 al. 1 let. b ch. 3 et 4 LEtr. Sur le point de savoir si la mesure de renvoi litigieuse était raisonnablement exigible, les juges ont retenu qu'il n'était pas démontré que le recourant courrait un risque concret s'il rentrait en Turquie en raison de ses troubles psychiques, car il ne pouvait rien tirer de concret, au regard de sa situation, du rapport du 12 juillet 2011 du Conseil économique et social indiquant que le traitement par électrochocs n'était pas aboli en Turquie. Il n'était pas davantage établi que les soins requis par son état de santé ne pourraient pas être dispensés dans son pays d'origine. Quant à l'éventuelle rente AI qui pourrait lui être allouée, son objection voulant qu'il ne pourrait pas la percevoir en Turquie était contredite par les accords internationaux conclus par la Suisse avec ce pays. Enfin, les juges cantonaux ont retenu que, lors du vol spécial, il serait tenu compte de l'état de santé du recourant au vu de la pratique en vigueur à Genève.
3.2 Le recourant invoque une violation des articles 80 al. 6 let. a LEtr, ainsi que 3 et 6 CEDH. Il soutient en substance que son trouble dépressif récurrent sévère, accompagné de symptômes psychotiques, rend l'exécution de son renvoi impossible. En effet, en Turquie, il ne pourrait pas recevoir les soins médicaux dont il a besoin et se trouverait au surplus dans l'incapacité de poursuivre la procédure AI. Il reproche aussi aux juges de ne pas avoir pris en compte le rapport des Nations-Unies concernant l'état de la psychiatrie en Turquie, de lui avoir fait supporter la preuve que ses troubles nécessiteraient un traitement par électrochocs et d'avoir retenu de manière insoutenable qu'il ne serait pas obligatoirement soumis à ce genre de traitement.
4. Dans la mesure où le recourant invoque l'art. 6 CEDH, son grief est irrecevable, car il n'indique pas précisément quelle garantie de procédure découlant de cette disposition aurait été violée (cf. art. 106 al. 2 LTF).
5. 5.1 Sur la base des faits constatés, le recourant remplit les conditions légales mises à une mesure de détention administrative fondée sur l'art. 76 al. 1 let. b ch. 3 et 4 LEtr (sur ces conditions, cf. <ref-ruling> consid. 3.1 p. 58 s.; récemment arrêt 2C_413/2012 du 22 mai 2012 consid. 3.2): il a toujours refusé de quitter la Suisse, malgré la décision de renvoi entrée en force; il a annoncé faussement la perte de son passeport pour éviter de prendre le vol qui lui était réservé en octobre 2011 et il s'est aussi formellement opposé à monter dans le vol à destination de la Turquie prévu le 12 mars 2012.
5.2 Par ailleurs, l'Office cantonal a indiqué avoir diligenté des démarches pour que l'intéressé puisse obtenir une place à bord d'un vol spécial à destination d'Istanbul d'ici au 9 juillet 2012, date d'expiration de son passeport. On ne peut donc reprocher aux autorités de ne pas avoir agi avec la diligence requise (cf. art. 76 al. 4 LEtr).
5.3 Le recourant invoque principalement l'impossibilité de son renvoi au sens de l'art. 80 al. 6 let. a LEtr en relation avec le risque de subir un traitement par électrochocs contraire à l'art. 3 CEDH s'il rentrait dans son pays.
5.3.1 L'article 80 al. 6 let. a LEtr prévoit que la détention est levée notamment lorsque l'exécution du renvoi ou de l'expulsion s'avère impossible pour des raisons juridiques ou matérielles. Tel est par exemple le cas d'un détenu présentant des atteintes à sa santé si importantes, qu'elles rendent impossible son transport pendant une longue période (cf. arrêts 2C_952/2011 du 19 décembre 2011 consid. 4.1; 2C_625/2011 du 5 septembre 2011 consid. 4.2.1; 2C_386/2010 du 1er juin 2010 consid. 4). Une mise en danger concrète de l'intéressé en cas de retour dans son pays d'origine peut aussi constituer de telles raisons (cf. <ref-ruling> consid. 2 p. 220; arrêt 2C_625/2011 du 5 septembre 2011 consid. 4.2.1). Il ne faut toutefois pas perdre de vue que l'objet de la présente procédure porte sur la détention administrative en tant que telle et non pas, en principe, sur des questions relatives à l'asile ou au renvoi; les objections concernant ces questions doivent être invoquées et examinées par les autorités compétentes lors des procédures ad hoc. Ce n'est que si une décision de renvoi apparaît manifestement inadmissible, soit arbitraire ou nulle, qu'il est justifié de lever la détention en application de l'art. 80 al. 6 LEtr, car l'exécution d'un tel ordre illicite ne doit pas être assurée par les mesures de contrainte (cf. <ref-ruling> consid. 2 p. 220; arrêts 2D_66/2011 du 13 décembre 2011 consid. 6.1; 2C_935/2011 du 7 décembre 2011 consid. 7.1).
5.3.2 En l'espèce, l'arrêt attaqué ne retient pas d'éléments qui permettraient d'inférer que le transport du recourant en Turquie serait impossible. Tenant compte d'un rapport médical du Dr. Y._, non daté, les juges cantonaux ont seulement indiqué qu'en cas de vol spécial, les autorités savaient que des aménagements particuliers devraient être mis en place pour tenir compte de l'état de santé du recourant. Or, ce dernier, bien que dûment représenté par un mandataire professionnel, n'indique pas que de telles mesures seraient manifestement insuffisantes ou incompatibles avec le certificat médical susmentionné.
Quant aux risques de traitement inhumain contraire à l'art. 3 CEDH qui pourraient lui être infligés en Turquie (traitement par électrochocs), le recourant invoque un "rapport international des Nations Unies concernant la Turquie et plus précisément concernant la psychiatrie en Turquie". Il reproche à la Cour de justice de n'avoir pas tenu compte de ce rapport, mais sans invoquer clairement l'arbitraire. En outre, il ne date ni ne produit ce document, pas plus qu'il ne se réfère à son contenu, de sorte que l'on peut douter que le grief soit recevable (cf. art. 106 al. 2 LTF). Au demeurant, à supposer qu'il se réfère au rapport du Conseil économique et social du 12 juillet 2011 concernant la Turquie, mentionné dans l'arrêt attaqué, sa critique est infondée. En effet, selon la décision entreprise, il ressort du chiffre 12 de ce rapport que le comité est préoccupé par le fait que les travailleurs migrants, les demandeurs d'asile et les réfugiés aient toujours beaucoup de mal à accéder aux services de santé. Comme le relèvent les juges cantonaux, le recourant, comme ressortissant turc, ne se trouve pas dans cette catégorie. En outre, au chiffre 30 du rapport en cause, il est indiqué que, bien que les services de santé mentale aient renoncé à utiliser le traitement par électrochoc sans anesthésie ou myorelaxants et que des directives applicables au traitement par électrochocs aient été diffusées auprès des facultés de médecine, le comité demeurait préoccupé par le fait que l'Etat n'avait pris aucune mesure législative pour abolir ces pratiques. Les premiers juges pouvaient sans arbitraire considérer, sur le vu de ces indications d'ordre général, qu'il n'était pas établi que le recourant s'exposerait concrètement, en cas de renvoi en Turquie, au risque de ne pas recevoir de soins ou de subir des électrochocs. Il n'est du reste même pas établi que son état de santé nécessite un internement en asile psychiatrique.
Au demeurant, il ne suffit pas au recourant de présenter, de manière appellatoire, un état de santé alarmant pour pouvoir bénéficier de l'art. 80 al. 6 let. a LEtr, sans indiquer précisément en quoi la position des autorités cantonales, qui ne partagent pas cette appréciation médicale, serait arbitraire. A cet égard, il n'est pas inutile de relever que le recourant avait indiqué, le 16 août 2011, qu'il envisageait, compte tenu de sa situation, de demander un permis humanitaire. Un délai lui avait alors été octroyé par l'Office cantonal pour qu'il fasse parvenir une telle demande. Il n'a toutefois pas donné suite à cette invitation.
En outre, le fait qu'une procédure AI soit en cours en Suisse n'est pas un motif rendant le renvoi impossible au sens de l'art. 80 al. 6 let. a LEtr. D'ailleurs, rien n'empêche que la procédure se poursuive, même si le recourant n'est plus en Suisse, tandis qu'une rente pourra, le cas échéant, lui être versée en Turquie en vertu des accords internationaux cités dans l'arrêt attaqué.
5.3.3 Enfin, lorsque le recourant invoque la durée de son séjour en Suisse et son comportement irréprochable dans notre pays, il perd de vue que la présente procédure se limite au contrôle de sa détention administrative, mais ne permet pas de remettre en cause le refus de prolonger son autorisation de séjour et l'ordre de renvoi le frappant, ces questions ayant été définitivement tranchées dans la procédure (antérieure) qui s'est soldée par l'arrêt du Tribunal fédéral du 19 avril 2011.
5.3.4 Sur la base des faits constatés par l'autorité cantonale, il n'apparaît donc pas que l'on puisse reprocher à la Cour de justice de n'avoir pas levé la détention du recourant en application de l'art. 80 al. 6 let. a LEtr.
5.4 Enfin, la prolongation de la détention du recourant est proportionnée, dès lors qu'elle n'atteint pas encore la durée maximale de six mois prévue à l'art. 79 al. 1 LEtr et qu'un renvoi de l'intéressé en Turquie dans ce délai apparaît possible.
6. Sous l'angle de l'art. 3 CEDH, le recourant se plaint en dernier lieu des conditions de sa détention. Il allègue que son enfermement provoque une détérioration de sa santé et qu'il a besoin des soins dispensés par son médecin traitant, le Dr. Z._, avec qui il a établi un lien de confiance. Il s'étonne en outre que les autorités n'aient pas ordonné une expertise psychiatrique.
6.1 Selon l'art. 80 al. 4 LEtr, lorsqu'elle examine la décision de détention, de maintien ou de levée de celle-ci, l'autorité judiciaire tient notamment compte des conditions de l'exécution de la détention, telles que définies à l'art. 81 LEtr (cf. arrêt 2C_37/2011 du 1er février 2011 consid. 1.2). La jurisprudence a déduit de l'art. 81 al. 2 LEtr que les détenus administratifs doivent bénéficier des soins dont ils ont besoin (cf. arrêt 2C_601/2011 du 17 août 2011 consid. 3.2). Du reste, c'est ce que prévoit également l'art. 18 al. 2 du Concordat du 4 juillet 1996 sur l'exécution de la détention administrative à l'égard des étrangers (RS/GE F2/12), applicable par renvoi de l'art. 12A de la loi genevoise d'application à la LEtr du 16 juin 1988 (RS/GE F2/10), selon lequel l'établissement organise un service médical qui pourvoit aux soins ambulatoires et aux soins d'urgence.
6.2 En l'occurrence, rien n'indique que le recourant ne recevrait pas en détention les soins nécessaires qui sont garantis par la loi, ce qu'il ne soutient du reste nullement. Le fait que la détention lui soit pénible, qu'il ne puisse voir le médecin de son choix et qu'il reçoive un traitement différent de celui dont il bénéficiait en liberté ne sont pas des éléments propres à retenir l'existence d'un traitement inhumain au sens de l'art. 3 CEDH. Quant à la nécessité d'une expertise psychiatrique, le recourant ne fait que s'étonner qu'elle n'ait pas été ordonnée, mais n'invoque à cet égard la violation d'aucune règle de procédure, de sorte que sa critique est sans consistance. Au demeurant, son état de santé a été attesté par plusieurs certificats médicaux, en particulier ceux du Dr. Z._ des 15 juillet et 24 octobre 2011, et du Dr. Y._, non daté mais envoyé par fax le 21 mars 2012, de sorte que l'on ne voit pas qu'une expertise soit encore nécessaire.
7. Dans ces circonstances, le recours ne peut qu'être rejeté dans la mesure de sa recevabilité. Avec ce prononcé, la requête de mesures provisionnelles formée dans les observations finales est sans objet.
Les conclusions du recourant étaient d'emblée dépourvues de toute chance de succès, de sorte qu'il convient de lui refuser l'assistance judiciaire (art. 64 LTF). Au vu des circonstances de la cause, il n'est pas perçu de frais judiciaires pour la procédure fédérale (cf. art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué à la mandataire du recourant, à l'Officier de police, à l'Office cantonal de la population, au Tribunal administratif de première instance et à la Cour de justice, Chambre administrative, du canton de Genève, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 11 juin 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Addy