Faits: A. A.a Ressortissant irakien né en 1976, X._ a été initialement renvoyé de Suisse le 14 décembre 2004 à la suite de l'échec de sa demande d'asile. Le 15 juillet 2011, le Tribunal administratif fédéral a rejeté une demande en révision portant sur l'exécution du renvoi. Le 24 août 2011, le Service de la population et des migrations du canton du Valais (ci-après le Service cantonal) a placé X._ en détention immédiate pour une durée de trois mois. A.b Les faits établis par l'autorité précédente étant incomplets, il convient d'apporter les précisions suivantes (cf. art. 105 al. 2 LTF). Le 22 décembre 2005, l'Office fédéral des migrations (ci-après l'ODM) a reconsidéré partiellement la décision de renvoi précitée du 14 décembre 2004, en ce sens qu'il a mis X._ au bénéfice d'une admission provisoire et a renoncé à l'exécution de son renvoi. Le 8 mars 2008, l'ODM a levé l'admission provisoire. Le recours formé par l'intéressé a été rejeté s'agissant de l'exécution du renvoi par le Tribunal administratif fédéral le 16 juin 2008. Le 22 décembre 2008, X._ a demandé le réexamen de la décision de renvoi du 14 décembre 2004, ce qu'a refusé l'ODM le 16 janvier 2009. L'intéressé s'est alors adressé au Tribunal administratif fédéral, qui lui a accordé le droit de résider en Suisse pendant la durée de la procédure. Par arrêt du 15 juillet 2011, il a rejeté, dans la mesure de sa recevabilité, la demande portant sur l'exécution du renvoi. Ni l'ODM ni le Service cantonal n'ont fixé un nouveau délai de départ à X._ à la suite de l'arrêt du 15 juillet 2011, qui ne précisait rien à ce sujet. B. Par arrêt du 26 août 2011, le Juge unique de la Cour de droit public du Tribunal cantonal valaisan (ci-après le Juge unique) a approuvé la décision de mise en détention pour une durée de trois mois prononcée par le Service cantonal le 24 août 2011, au motif que X._ refusait avec obstination de s'en aller. Il ressort aussi de cet arrêt que la représentante de X._ n'avait pu être citée à temps à l'audience, mais qu'elle pourrait former une demande de reconsidération. Le 30 août 2011, le Juge unique a refusé d'entrer en matière sur la demande de reconsidération déposée le jour-même par l'avocate de X._ et a rejeté l'assistance judiciaire sollicitée le 24 juillet 2011, au motif que la demande de reconsidération était insuffisamment motivée. C. X._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation des arrêts rendus les 26 et 30 août 2011 et à la levée immédiate de sa détention administrative, subsidiairement à au renvoi de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. A titre provisoire, il requiert la suspension de l'exécution forcée du renvoi. Par ordonnance du 7 septembre 2011, le Président de la IIe Cour de droit public a indiqué que le recours ne bloquait pas l'exécution du renvoi. Le Juge unique a renoncé à former des observations détaillées, soulignant seulement qu'une demande de libération ultérieure pourrait donner lieu à une décision sur le fond et, le cas échéant, à l'examen du droit du recourant à bénéficier de l'assistance judiciaire. Le Service de la population et l'ODM n'ont pas formé d'observations.