Faits:
A. Le 23 décembre 2009, l'Office cantonal genevois de la population a notifié à X._, ressortissant équatorien, une décision de renvoi de Suisse qui est entrée en force.
Le 15 septembre 2010, le prénommé a été condamné par la Cour correctionnelle de Genève à une peine privative de liberté de 30 mois, dont 15 sans sursis, pour viol. Libéré le 11 mars 2011 par les autorités genevoises, il a été remis aux autorités argoviennes sur mandat d'arrêt de ces dernières pour exécution du solde d'une peine pécuniaire de 115 jours-amendes non payée et convertie en peine de prison.
Le 8 juin 2011, les autorités argoviennes ont prononcé la libération conditionnelle de X._ avec effet au 10 juin 2011, ainsi que sa remise le même jour aux autorités genevoises compétentes en matière de police des étrangers.
Le 10 juin 2011, X._ a pris le train en Argovie à 10h. en wagon cellulaire et est arrivé à Genève à 17h.15; à 18h.10, l'Officier de police a prononcé sa mise en détention administrative pour une durée de trois mois en application de l'art. 76 al. 1 let. b ch. 1 LEtr.
Le 14 juin 2011 à 11h., le Tribunal administratif de première instance a entendu X._ et a confirmé l'ordre de mise en détention administrative pour une durée de 3 mois, soit jusqu'au 9 septembre 2011.
B. Par arrêt du 6 juillet 2011, la Cour de justice (Chambre administrative) du canton de Genève (ci-après: la Cour de justice) a rejeté le recours de X._ à l'encontre du jugement du 14 juin 2011. Il en ressort en substance que la décision de mise en détention ordonnée par l'Officier de police avait été contrôlée dans le délai légal de 96 heures, que la détention administrative du recourant devait être admise dans son principe puisqu'il faisait l'objet d'une décision de renvoi en force et qu'il avait été condamné pour un crime. En outre, l'intéressé avait affirmé à plusieurs reprises ne pas être d'accord de retourner en Equateur et n'avait accompli aucune démarche en vue de se faire établir un nouveau passeport par les autorités équatoriennes permettant son retour dans ce pays, alors qu'il se savait indésirable en Suisse depuis fin 2009. Il a également été constaté que les démarches en vue de son renvoi étaient en bonne voie, de sorte que la mesure apparaissait nécessaire et adéquate.
C. A l'encontre de l'arrêt du 6 juillet 2011, X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et à sa mise en liberté immédiate. Il demande par ailleurs le bénéfice de l'assistance judiciaire.
Se référant à son arrêt, la Cour de justice a renoncé à présenter des observations, à l'instar du Service de la population. L'Officier de police a pris position et a conclu à la confirmation de l'arrêt du 6 juillet 2011. Dans ses remarques finales, X._ a rappelé sa position quant au non-respect du délai de 96 heures, tout en se référant à son mémoire de recours pour le surplus.
Par ordonnance du 17 août 2011, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif présentée à l'appui du recours.

Considérant en droit:
1. En matière de mesures de contrainte, le recours en matière de droit public est en principe ouvert (<ref-law>; arrêt 2C_10/2009 du 5 février 2009 consid. 2, non publié aux <ref-ruling>). Dirigé contre un arrêt final, émanant d'une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF), le présent recours a été formé en temps utile (<ref-law>) et dans les formes requises (art. 42 LEtr) par le recourant qui, placé en détention, a indéniablement qualité pour agir (<ref-law>). Il est donc en principe recevable.
2. Le recourant conteste avant tout le respect du délai de 96 heures prévu à l'art. 80 al. 2 LEtr. Il soutient que ce délai avait commencé à courir dès sa sortie de prison en Argovie, le 10 juin 2011 à 9h., de sorte que ce n'est que 98 heures après sa sortie, soit le 14 juin 2011 à 11h., qu'il a comparu devant le Tribunal de première instance de Genève.
2.1 Selon l'art. 80 LEtr, la détention est ordonnée par l'autorité du canton qui exécute le renvoi ou l'expulsion (al. 1). L'alinéa 2 1ère phrase de cette disposition prévoit que la légalité et l'adéquation de la détention doivent être examinées dans un délai de 96 heures par une autorité judiciaire au terme d'une procédure orale. Selon la jurisprudence, ce délai se calcule à partir du moment où l'intéressé a effectivement été détenu pour des motifs de droit des étrangers; si la détention administrative se recoupe avec une détention de nature pénale, le moment auquel le détenu est libéré sur le plan pénal est déterminant pour calculer le début de la détention administrative (cf. arrêt 2C_206/2009 du 29 avril 2009 consid. 5.1.1. et les références, notamment <ref-ruling> consid. 2b/aa p. 175 s.).
2.2 En l'espèce, les autorités argoviennes ont décidé, le 8 juin 2010, de libérer conditionnellement X._ et de le remettre aux autorités genevoises compétentes en matière de police des étrangers le 10 juin 2011 ("X._ wird am 10.06.2011 zu Handen der Migrationsbehörden des Kantons Genf bedingt aus dem Strafvollzug entlassen"). Autrement dit, la libération conditionnelle n'a pris effet que lors de la remise effective de l'intéressé aux autorités genevoises; jusqu'à ce moment, sa détention, y compris le trajet en wagon cellulaire, a revêtu un caractère pénal. Par conséquent, contrairement à ce que soutient le recourant, sa détention administrative n'a pas commencé le 10 juin 2011 à 9h. lors de sa sortie de la prison en Argovie, mais lors de son transfèrement effectif aux autorités genevoises compétentes soit, selon les constatations cantonales, ce même jour en fin d'après-midi. Comme le Tribunal administratif de première instance a contrôlé cette mise en détention le 14 juin 2011 à 11h., le délai de 96 heures prévu à l'art. 80 al. 2 LEtr a été respecté.
Il est vrai que la Cour de justice a laissé entendre que la privation de liberté subie par le recourant durant son transfert à Genève pourrait tout au plus être imputée de la durée totale de sa détention administrative, ce qui peut paraître contradictoire avec le refus, justifié, des juges cantonaux, de faire débuter le délai de l'art. 80 al. 2 LEtr à partir de la sortie de prison de l'intéressé en Argovie. Cette rédaction maladroite n'a cependant aucune incidence sur le résultat de l'arrêt attaqué et ne permet pas au recourant d'en déduire que le délai de 96 heures devait courir dès sa sortie de prison en Argovie, alors qu'à ce moment, sa remise aux autorités genevoises compétentes n'était pas encore intervenue.
Le grief tiré de la violation de l'art 80 al. 2 LEtr est donc infondé.
3. A juste titre, le recourant ne remet pas en cause le principe même de sa détention administrative. Comme il a fait l'objet d'une décision de renvoi du 23 décembre 2009 entrée en force et a en plus été condamné, le 15 septembre 2010, pour viol, soit pour un crime (cf. <ref-law>), il remplit clairement les conditions prévues à l'art. 76 al. 1 let. b ch. 1, en relation avec l'art. 75 al. 1 let. h LEtr. La détention, prononcée pour trois mois, n'excède en outre pas la durée maximale de six mois prévue à l'art. 79 al. 1 LEtr.
4. Invoquant l'art. 5 al. 2 Cst., le recourant se plaint d'une violation du principe de la proportionnalité, reprochant aux autorités de n'avoir pas entrepris les démarches nécessaires en vue de son renvoi vers l'Equateur. Il souligne que la Cour de justice a elle-même relevé que ces démarches auraient dû être entreprises depuis l'entrée en force du jugement du 15 septembre 2010 de la Cour correctionnelle, ce qui n'a pas été le cas.
4.1 Dans tous les cas, la durée de la détention, envisagée dans son ensemble, doit apparaître proportionnée (<ref-ruling> consid. 2.2 p. 99 s.; <ref-ruling> consid. 1 p. 58). Les autorités doivent donc veiller à réduire autant que possible la durée de la procédure de renvoi. D'ailleurs, l'art. 76 al. 4 LEtr leur impose d'entreprendre sans tarder les démarches nécessaires à l'exécution du renvoi. Les juges cantonaux ont relevé à juste titre qu'il aurait appartenu aux autorités administratives compétentes d'entreprendre les démarches nécessaires en vue du renvoi dès l'entrée en force du jugement de la Cour correctionnelle du 15 septembre 2010, dès lors qu'elles savaient alors pendant combien de temps le recourant serait détenu. Le fait qu'elles n'aient rien fait avant que l'intéressé soit placé en détention administrative ne suffit toutefois pas à qualifier cette détention, prononcée pour une durée de trois mois, de disproportionnée. Dès lors que le recourant avait affirmé à plusieurs reprises ne pas être d'accord de se rendre en Equateur, il s'agissait, comme l'a relevé pertinemment la Cour de justice, de la seule mesure permettant en l'état d'assurer l'exécution du renvoi.
Du reste, depuis la mise en détention administrative du recourant, les démarches nécessaires à l'exécution du renvoi ont été entreprises avec diligence par les autorités, comme l'a relevé l'Officier de police dans ses observations.
5. Dans ces circonstances le recours doit être rejeté. Dès lors que les conclusions étaient d'emblée vouées à l'échec, la demande d'assistance judiciaire doit aussi être rejetée (<ref-law>). Compte tenu de la situation du recourant, il sera toutefois statué sans frais (art. 66 al. 1 in fine LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué au mandataire du recourant, à l'Officier de police, à l'Office cantonal de la population, au Tribunal administratif de première instance et à la Cour de justice du canton de Genève, Chambre administrative, 1ère section, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 1er septembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Addy