Faits: A. Ressortissant du Maroc, né en 1989 et dépourvu de papiers d'identité, X._ a été interpellé à Genève le 14 juin 2011, alors qu'il y séjournait illégalement. Des boulettes de cocaïne et du matériel pour déjouer les mécanismes antivol dans les grands magasins ont été découverts en sa possession. Par ordonnance du Ministère public genevois du 30 août 2011, X._ a été condamné à une peine de 40 jours-amende avec sursis pendant trois ans pour trafic de stupéfiants portant sur 5 boulettes de cocaïne d'un poids total de 4,6 grammes, ainsi que pour entrée et séjour illégaux en Suisse. Le 19 septembre 2011, la police genevoise a demandé le soutien de l'Office fédéral des migrations en vue de l'exécution du renvoi de l'intéressé. Le 10 novembre 2011, X._ a été une nouvelle fois condamné pour violation de domicile et séjour illégal à une peine privative de liberté de 60 jours, le sursis du 30 août 2011 étant révoqué. Le 15 novembre 2011, l'Office de la population du canton de Genève (ci-après l'Office cantonal) a demandé à la police d'exécuter le renvoi de X._ conformément aux accords de Dublin. Selon les recherches effectuées, X._ était inscrit comme demandeur d'asile en Suède, Norvège, Finlande et Allemagne et a lui-même précisé avoir aussi déposé des demandes d'asile en Belgique et en Italie. Il a déclaré s'opposer à retourner dans ces pays à sa sortie de prison et vouloir rester en Suisse. Des démarches ont été accomplies afin que l'Office fédérale des migrations prenne une décision de renvoi de Suisse de l'intéressé, ce qui supposait au préalable une réponse des autorités aux demandes de réadmission présentées par la Suisse. Les 6 et 12 mars 2012, la Suède et la Norvège ont refusé de reprendre X._ sur leur territoire. Une demande en ce sens a été adressée à l'Italie. B. Le 26 février 2012, l'Officier de police a décerné un ordre de détention administrative à l'encontre de X._ dès sa sortie de prison et pour une durée de deux mois en phase préparatoire. Après avoir entendu l'intéressé, le Tribunal administratif de première instance du canton de Genève a confirmé l'ordre de mise en détention administrative le 27 février 2012. Par arrêt du 14 mars 2012, la Chambre administrative de la Cour de justice genevoise a rejeté le recours formé par X._ à l'encontre du jugement du 27 février 2012. C. A l'encontre de l'arrêt du 14 mars 2012, X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et à ce que sa libération immédiate soit ordonnée, subsidiairement à ce que la cause soit renvoyée à la Cour de justice au sens des considérants. Il demande par ailleurs l'octroi de l'assistance judiciaire. L'Office cantonal et la Cour de justice n'ont pas formulé d'observations, cette dernière déclarant persister dans les considérants et le dispositif de son arrêt. L'Officier de police conclut au rejet du recours, dans la mesure de sa recevabilité. L'Office fédéral des migrations n'a pas pris position. X._ maintient ses conclusions.