Faits:
A. Ressortissant du Maroc, né en 1989 et dépourvu de papiers d'identité, X._ a été interpellé à Genève le 14 juin 2011, alors qu'il y séjournait illégalement. Des boulettes de cocaïne et du matériel pour déjouer les mécanismes antivol dans les grands magasins ont été découverts en sa possession.
Par ordonnance du Ministère public genevois du 30 août 2011, X._ a été condamné à une peine de 40 jours-amende avec sursis pendant trois ans pour trafic de stupéfiants portant sur 5 boulettes de cocaïne d'un poids total de 4,6 grammes, ainsi que pour entrée et séjour illégaux en Suisse.
Le 19 septembre 2011, la police genevoise a demandé le soutien de l'Office fédéral des migrations en vue de l'exécution du renvoi de l'intéressé.
Le 10 novembre 2011, X._ a été une nouvelle fois condamné pour violation de domicile et séjour illégal à une peine privative de liberté de 60 jours, le sursis du 30 août 2011 étant révoqué.
Le 15 novembre 2011, l'Office de la population du canton de Genève (ci-après l'Office cantonal) a demandé à la police d'exécuter le renvoi de X._ conformément aux accords de Dublin. Selon les recherches effectuées, X._ était inscrit comme demandeur d'asile en Suède, Norvège, Finlande et Allemagne et a lui-même précisé avoir aussi déposé des demandes d'asile en Belgique et en Italie. Il a déclaré s'opposer à retourner dans ces pays à sa sortie de prison et vouloir rester en Suisse. Des démarches ont été accomplies afin que l'Office fédérale des migrations prenne une décision de renvoi de Suisse de l'intéressé, ce qui supposait au préalable une réponse des autorités aux demandes de réadmission présentées par la Suisse.
Les 6 et 12 mars 2012, la Suède et la Norvège ont refusé de reprendre X._ sur leur territoire. Une demande en ce sens a été adressée à l'Italie.
B. Le 26 février 2012, l'Officier de police a décerné un ordre de détention administrative à l'encontre de X._ dès sa sortie de prison et pour une durée de deux mois en phase préparatoire. Après avoir entendu l'intéressé, le Tribunal administratif de première instance du canton de Genève a confirmé l'ordre de mise en détention administrative le 27 février 2012.
Par arrêt du 14 mars 2012, la Chambre administrative de la Cour de justice genevoise a rejeté le recours formé par X._ à l'encontre du jugement du 27 février 2012.
C. A l'encontre de l'arrêt du 14 mars 2012, X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et à ce que sa libération immédiate soit ordonnée, subsidiairement à ce que la cause soit renvoyée à la Cour de justice au sens des considérants. Il demande par ailleurs l'octroi de l'assistance judiciaire.
L'Office cantonal et la Cour de justice n'ont pas formulé d'observations, cette dernière déclarant persister dans les considérants et le dispositif de son arrêt. L'Officier de police conclut au rejet du recours, dans la mesure de sa recevabilité. L'Office fédéral des migrations n'a pas pris position. X._ maintient ses conclusions.

Considérant en droit:
1. 1.1 En matière de mesures de contrainte, le recours en matière de droit public est en principe ouvert (<ref-law>; arrêt 2C_10/2009 du 5 février 2009 consid. 2, non publié aux <ref-ruling>).
1.2 Dirigé contre un arrêt final, émanant d'une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF), le présent recours a été formé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le recourant qui, en vertu de la décision attaquée, se trouve en détention en phase préparatoire jusqu'au 25 avril 2012, de sorte qu'il a un intérêt actuel digne de protection à agir (<ref-law>).
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral revoit librement l'application du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cette dernière disposition, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant.
3. L'arrêt attaqué a confirmé le bien-fondé de la mise en détention du recourant pour une durée de deux mois en phase préparatoire. Se fondant sur la jurisprudence cantonale, les juges ont estimé que les faits pour lesquels celui-ci avait été condamné, soit un trafic de stupéfiants portant sur de la cocaïne, mettaient gravement en danger la vie ou l'intégrité corporelle d'autres personnes, ce qui suffisait à justifier l'application de l'art. 75 al. 1 let. g LEtr.
Le recourant considère en substance que, dès lors qu'il n'a été condamné qu'une fois pour un trafic de stupéfiants portant sur une faible quantité (4,6 grammes de cocaïne), soit pour des actes ne relevant pas d'un cas grave au sens de l'<ref-law>, les juges cantonaux ont violé le droit fédéral en lui appliquant l'art. 75 al. 1 let. g LEtr. Selon lui, cette disposition ne saurait avoir une portée propre distincte de l'<ref-law> et de la jurisprudence pénale.
4. 4.1 La détention en phase préparatoire prévue à l'art. 75 LEtr est une mesure de contrainte ayant pour but d'assurer l'exécution d'une procédure de renvoi (MINH SON NGUYEN, Les renvois et leur exécution en droit suisse, in Les renvois et leur exécution, Perspectives internationale, européenne et suisse, Berne 2011, p. 115 ss, 173). D'une durée de six mois au plus, elle peut être ordonnée pendant la préparation de la décision sur le séjour d'un étranger qui n'est pas titulaire d'une autorisation de courte durée (cf. art. 75 al. 1 LEtr); elle est justifiée notamment si l'étranger menace sérieusement d'autres personnes ou met gravement en danger leur vie ou leur intégrité corporelle et fait l'objet d'une poursuite pénale ou a été condamnée pour ce motif (art. 75 al. 1 let. g LEtr).
4.2 Le Tribunal fédéral ne s'est encore jamais prononcé de manière approfondie sur la portée de l'art. 75 al. 1 let. g LEtr. Les travaux préparatoires ne donnent pas d'indications particulières sur ce motif de détention, le législateur ayant repris pour l'essentiel l'art. 13a de l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113) (cf. Message du Conseil fédéral du 8 mars 2002 concernant la loi sur les étrangers, FF 2002 3469, p. 3570). Dès lors que l'art. 75 al. 1 let. g LEtr est calqué sur l'art. 13a let. e LSEE, il convient, pour interpréter le nouveau droit, de s'inspirer de la jurisprudence rendue sous l'empire de la LSEE (cf. en ce sens, cf. arrêt 2C_298/2011 du 11 avril 2011 consid. 2.1.3), conformément du reste à ce que fait la doctrine (cf. ANDREAS ZÜND, Migrationsrecht, 2e éd. Zurich 2009, n. 10 ad art. 75 LEtr; THOMAS HUGI YAR, Ausländerrecht, 2e éd. Bâle 2009, n. 10.72 p. 458 s.; TARKAN GÖSKU, AuG, Berne 2010, n. 22 ad art. 75 LEtr).
4.3 Un étranger menace sérieusement d'autres personnes ou met gravement en danger leur vie ou leur intégrité corporelle au sens de l'art. 75 al. 1 let. g LEtr s'il commet des infractions pénales à l'encontre de la vie et de l'intégrité corporelle (<ref-law>), contre la liberté (<ref-law>) ou contre l'intégrité sexuelle dès qu'il y a contrainte (cf. art. 189 et 190 CP) (ZÜND, op. cit., n. 10 ad art. 75 LEtr; HUGI YAR, op. cit., n. 10.71 p. 458). Sont aussi visées les infractions à la loi fédérale sur les stupéfiants (arrêts 2A.35/2000 du 10 février 2000 consid. 2b/aa; 2A.450/1995 du 3 novembre 1995 consid. 5a), en particulier le trafic de drogues dures (cf. <ref-ruling> consid. 3b/bb p. 375; NICOLAS WISARD, Les renvois et leur exécution en droit des étrangers et en droit d'asile, thèse Genève 1997, p. 268). Comme la loi exige une menace sérieuse ou une mise en danger grave de la vie ou de l'intégrité corporelle d'autres personnes, il faut que le comportement répréhensible revête une certaine intensité. Les infractions, y compris en relation avec les stupéfiants, qui apparaissent comme des cas bagatelles ne suffisent pas (arrêts 2A.35/2000 du 10 février 2000 consid. 2b/bb; 2A.450/1995 du 3 novembre 1995 consid. 5a). Enfin, comme la disposition est tournée vers le futur et tend à empêcher que l'étranger continue son comportement dangereux, il faut en outre faire un pronostic pour déterminer si, sur la base des circonstances connues, il existe un risque sérieux que d'autres mises en danger graves se reproduisent (cf. arrêt 2A.480/2003 du 26 août 2004 consid. 3.1 et les nombreuses références citées).
Un tel pronostic s'impose tout particulièrement en matière de stupéfiants, lorsqu'une procédure pénale a démontré que l'étranger s'est livré à un trafic de drogues dures, mais qui ne portait que sur de faibles quantités; dans un tel cas de figure, il faut se demander s'il s'agit seulement d'un comportement coupable isolé ou s'il existe un risque que l'intéressé poursuive son trafic. En effet, la détention en phase préparatoire n'est pas d'emblée exclue en présence de petits trafiquants, s'ils présentent un risque de récidive (arrêt 2A.480/2003 du 26 août 2004 consid. 3.5). Il est fréquent que les petits revendeurs ne soient jamais en possession d'une grande quantité de stupéfiants, ce qui ne les empêche pas de procéder constamment à du trafic, de sorte qu'en peu de temps ils parviennent à écouler une grande quantité de drogue. Or, un tel comportement constitue une mise en danger grave de la vie ou de l'intégrité corporelle des personnes permettant de justifier une détention en phase préparatoire (cf. <ref-ruling> consid. 3b/bb p. 375; arrêts 2A.35/2000 du 10 février 2000 consid. 2b/bb; 2A.450/1995 du 3 novembre 1995 consid. 5b). En revanche, celui qui n'a agi que de manière isolée avec une petite quantité de stupéfiants ne représente pas encore un danger grave pour la vie ou l'intégrité corporelle d'autres personnes (arrêts 2A.480/2003 du 26 août 2004 consid. 3.1 in fine; 2A.35/2000 du 10 février 2000 consid. 2b/bb; 2A.450/1995 du 3 novembre 1995 consid. 3b).
4.4 Il en découle que, contrairement à ce que soutient le recourant, un petit dealer condamné une fois pour trafic d'une faible quantité de drogue dure peut parfaitement tomber sous le coup de l'art. 75 al. 1 let. g LEtr, indépendamment du fait qu'il ne remplit pas les conditions figurant à l'<ref-law>, lorsque les circonstances dénotent un risque qu'il continue son trafic. Partant, le fait que le recourant ait été en possession de moins de 18 gr. de cocaïne, soit d'une quantité en elle-même insuffisante, selon la jurisprudence (cf. <ref-ruling> consid. 3b p. 144 s.), à entraîner l'application de l'<ref-law> n'est pas pertinent. Du reste, le recourant perd de vue que cette disposition pénale suppose une mise en danger de la santé de nombreuses personnes, alors que l'art. 75 al. 1 let. g LEtr met l'accent sur la gravité de la mise en danger et non sur le nombre de personnes susceptibles d'être touchées.
4.5 La position de la Cour de justice, qui se fonde sur sa jurisprudence selon laquelle le seul fait que le recourant ait été condamné pénalement pour trafic de cocaïne, soit une drogue "dure", justifie l'application de l'art. 75 al. 1 let. g LEtr, ne peut être suivie. Il ressort des principes qui viennent d'être exposés qu'en présence d'un petit dealer qui n'a été condamné qu'une fois pour un trafic d'une faible quantité de stupéfiants (même de drogues dures), il convient d'examiner l'ensemble des circonstances, afin de former un pronostic sur le risque de réitération. Ce n'est qu'en présence d'indices concrets en ce sens que l'on peut retenir pour l'avenir une grave mise en danger de la vie ou de l'intégrité d'autres personnes, ce qui est la condition à une mise en détention en phase préparatoire au sens de l'art. 75 al. 1 let. g LEtr.
4.6 Dès lors que le Tribunal fédéral n'est pas lié par les considérants de l'arrêt attaqué et peut aussi rejeter un recours en opérant une substitution de motifs (<ref-ruling> consid. 1.4.1 p. 254), il convient d'examiner si l'on peut retenir l'existence d'un risque de réitération au vu des circonstances. Il ressort de l'arrêt attaqué que le recourant a été condamné une première fois notamment pour trafic de stupéfiants portant sur 5 boulettes de cocaïne d'un poids total de 4,6 gr. à 40 jours-amende avec sursis le 30 août 2011. Malgré cette peine, il a de nouveau subi une condamnation à une peine privative de liberté de 60 jours, le 10 novembre 2011, soit deux mois et dix jours plus tard. Certes, la seconde fois, il n'a pas été condamné pour trafic de stupéfiants, mais pour violation de domicile et séjour illégal, soit des infractions qui ne fondent pas un motif de détention au sens de l'art. 75 al. 1 let. g LEtr. Toutefois, cette nouvelle peine démontre que la première condamnation n'a nullement empêché le recourant de continuer dans la délinquance. A cela s'ajoute que l'intéressé ne dispose d'aucun titre de séjour et qu'il réside en Suisse de façon illégale, sans source de revenu avérée; il y a dès lors une probabilité non négligeable qu'il poursuive dans un dessein de lucre des activités délictuelles, comme le trafic de cocaïne. En outre, comme il ressort du dossier (cf. <ref-law>) - ce qu'a pertinemment mis en évidence l'Officier de police dans sa réponse - le recourant n'est lui-même pas consommateur de stupéfiants. Enfin, à côté des boulettes de cocaïne conditionnées pour la vente retrouvées dans sa valise, se trouvait un deuxième rouleau de papier d'aluminium, prêt à être utilisé pour le conditionnement d'autres boulettes; il apparaît ainsi que, dès le départ, le recourant n'entendait pas se limiter à la seule vente des doses de cocaïne trouvées en sa possession.
Ces circonstances démontrent l'existence d'un risque sérieux que, si le recourant était laissé en liberté, il continuerait à vendre des drogues dures. Partant, en admettant le bien-fondé du motif de détention administrative prévu à l'art. 75 al. 1 let. g LEtr, l'arrêt attaqué ne viole pas le droit fédéral.
4.7 L'art. 76 al. 2 LEtr impose à l'autorité compétente de prendre sans délai une décision quant au droit de séjour de la personne mise en détention. Il ressort de l'arrêt attaqué que les autorités ont accompli des démarches qui sont actuellement en cours, afin que l'Office fédéral des migrations puisse prendre une décision de renvoi de Suisse du recourant. Cette décision nécessite une réponse positive aux demandes de réadmission présentées par la Suisse. La Suède et la Norvège ont d'ores et déjà refusé; une demande de réadmission par l'Italie est en cours. Il apparaît donc que l'on ne peut reprocher aux autorités compétentes un manque de diligence contraire à l'art. 76 al. 2 LEtr. En outre, il n'apparaît pas que cette première détention administrative, d'une durée de deux mois, soit disproportionnée ou contraire à l'art. 80 LEtr, ce que le recourant ne soutient du reste nullement.
5. Il résulte de ce qui précède que le recours doit être rejeté. Toutefois, comme la Cour de céans a opéré à une substitution de motifs, il convient d'admettre la requête d'assistance judiciaire formée par le recourant, qui remplit par ailleurs les conditions d'indigence (<ref-law>). Il y a lieu de désigner Me Magali Buser en qualité d'avocate d'office et de lui allouer une indemnité appropriée, qui sera versée par la caisse du Tribunal fédéral (<ref-law>). Le recourant est en outre dispensé des frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est admise. Me Magali Buser est désignée comme avocate d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 2'000 francs.
3. Le présent arrêt est communiqué à la mandataire du recourant, à l'Officier de police, au Tribunal administratif de première instance, à l'Office cantonal de la population et à la Cour de justice du canton de Genève, Chambre administrative, en section, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 18 avril 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Addy