Faits: A. Originaire de l'Erythrée, né en 1975, X._ a déposé une demande d'asile en Suisse, qui a été frappée, le 15 avril 2011, d'une décision de non-entrée en matière émanant de l'Office fédéral des migrations (ci-après: l'Office fédéral). Il était ordonné au requérant de quitter la Suisse au lendemain de l'échéance du délai de recours (recte : le jour suivant l'entrée en force de ladite décision) sous peine de s'exposer à des moyens de contrainte. Le 18 mai 2011, le Tribunal administratif fédéral a rejeté le recours formé par X._ à l'encontre de la décision du 15 avril 2011. Le 16 juin 2011, X._ a refusé de signer une déclaration de retour volontaire. Le 21 juin 2011, un vol à destination de Rome a été réservé à son attention, mais l'intéressé était introuvable à cette date. B. Appréhendé par la police cantonale vaudoise le 2 août 2011, X._ a été entendu le jour même par le Juge de paix du canton de Vaud (ci-après: le Juge de paix), qui l'a placé en détention administrative pour une durée de six mois en vue de son refoulement en Italie, pays dans lequel il avait le statut de réfugié. Le 6 septembre 2011, X._ a été conduit à l'aéroport de Genève pour y prendre un vol à destination de Rome, mais il a refusé d'embarquer. Le Service de la population du canton de Vaud (ci-après: le Service cantonal) a requis l'organisation d'un vol escorté jusqu'à destination le 26 septembre 2011. Par ordonnance du 3 octobre 2011, le Juge de paix a rejeté la demande de mise en liberté formée par X._ le 27 septembre 2011. Le 10 novembre 2011, le recours formé par X._ a été rejeté par la Chambre des recours civile du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) et l'ordonnance du 3 octobre 2011 confirmée. C. A l'encontre de l'arrêt du 10 novembre 2011, X._ interjette un recours auprès du Tribunal fédéral, en concluant à son admission, à l'annulation de l'arrêt attaqué et à sa libération immédiate. Il demande par ailleurs la dispense de payer une avance de frais et l'octroi de l'assistance judiciaire partielle. Le Tribunal cantonal se réfère aux considérants de son arrêt. Le Juge de paix déclare s'en remettre à justice. L'Office fédéral propose de rejeter le recours. Le Service cantonal et le recourant ont, pour leur part, produit des déterminations qui sont parvenues au Tribunal fédéral passé le délai imparti à cet effet. La Cour de céans a demandé aux autorités judiciaires cantonales de lui transmettre l'ensemble du dossier concernant la mise en détention de X._ et pas seulement les actes se rapportant à sa demande de libération, ce qui a été fait le 16 décembre 2011.