Faits:
A. A.a X._, né en 1963 et originaire de Bosnie et Herzégovine, ainsi que sa famille ont demandé l'asile en Suisse le 15 mars 1999. Leur demande a été rejetée le 15 avril 1999, décision confirmée sur recours le 28 avril 2000. Le 15 mai 2000, X._ et sa famille ont disparu.
Le 14 juillet 2008, ils ont à nouveau déposé une demande d'asile en Suisse, qui a été rejetée par l'Office fédéral des migrations (ci-après: l'Office fédéral) le 19 septembre 2008, ce qu'a confirmé le Tribunal administratif fédéral le 8 octobre 2008.
Lors de l'entretien de départ du 6 novembre 2008, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a averti X._ qu'en cas de non-respect des décisions lui imposant, ainsi qu'à sa famille, de quitter la Suisse, il s'exposerait à des mesures de contrainte pouvant aller jusqu'à la détention administrative.
Le 19 février 2009, X._ et sa famille ont formé une demande de reconsidération de la décision du 19 septembre 2008 uniquement s'agissant de l'exécution de leur renvoi. Ils invoquaient des problèmes de santé. L'Office fédéral a rejeté la requête le 10 septembre 2009. Par arrêt du 18 juin 2012, le Tribunal administratif fédéral, après avoir examiné en détail les motifs invoqués, en particulier l'état de santé du couple, a confirmé la position de l'Office fédéral. Un délai a été fixé au 9 juillet 2012 à X._ et à sa famille pour quitter la Suisse.
A.b Le 21 septembre 2012, le Service cantonal a demandé l'arrestation de X._. Le 25 octobre 2012, il a sollicité de l'Office fédéral de la police l'inscription d'un avis de recherche visant l'intéressé.
Le 5 novembre 2012, les autorités bosniaques ont accepté de délivrer des laissez-passer pour X._ et sa famille.
Le 15 novembre 2012, ceux-ci ont déposé une nouvelle demande de reconsidération auprès de l'Office fédéral, qui a refusé d'entrer en matière le 14 février 2013.
Le 4 décembre 2012, X._ s'est présenté au Service cantonal et a refusé de signer la déclaration de retour volontaire.
B. Arrêté le 4 février 2013, X._ a été entendu le jour-même par la Juge de paix du district de Lausanne et a réitéré son refus de retourner en Bosnie et Herzégovine. Par ordonnance du 5 février 2013, la Juge a prononcé sa détention administrative dès le 4 février 2013 pour une durée de six mois.
L'épouse de X._ et l'une de ses filles ont eu deux rencontres avec le Bureau d'aide cantonal vaudois au retour. Elles ont refusé une première proposition d'aide financière, déclarant que la famille ne rentrerait pas en Bosnie et Herzégovine. Quant à la seconde proposition faite le 13 février 2013, il a été constaté qu'elle était demeurée sans suite.
Par arrêt du 5 mars 2013, la Chambre des recours civile du Tribunal cantonal vaudois a rejeté le recours interjeté par X._ et confirmé l'ordonnance du 5 février 2013.
C. A l'encontre de cet arrêt, X._, agissant par l'intermédiaire du Service d'Aide juridique aux Exilé-e-s, forme un "recours" au Tribunal fédéral. Il conclut à l'admission du recours, à l'annulation de l'arrêt du 5 mars 2013 et à sa libération immédiate. Il demande par ailleurs l'octroi de l'assistance judiciaire partielle et, à titre de mesures provisionnelles, à ce qu'il soit dispensé du versement d'une avance de frais.
Par ordonnance présidentielle du 20 mars 2013, il a été renoncé à la perception d'une avance de frais.
Invité à se déterminer, le Service cantonal conclut au rejet du recours, tout en indiquant que la proposition faite le 13 février 2013 à la famille, qui prévoyait la levée de la détention de X._ en cas d'acceptation par l'ensemble de la famille d'un retour volontaire en Bosnie et Herzégovine avec une aide financière cantonale, avait finalement été refusée. L'Office fédéral n'a pas présenté d'observations. Le Tribunal cantonal s'est référé aux considérants de son arrêt. Le recourant n'a pas pris position sur ces observations.
X._ a produit deux certificats médicaux datés du 17 mars 2013 concernant l'état de santé de plusieurs membres de la famille, en particulier de son épouse et de sa mère.
Considérant en droit:
1. Le recourant a simplement déclaré former un "recours" auprès du Tribunal fédéral. Cette désignation imprécise ne saurait lui nuire à condition que le recours remplisse les exigences légales de la voie de droit qui lui est ouverte (ATF 136 II 489 consid. 2.1 p. 491; 133 I 300 consid. 1.2 p. 302 s.).
En matière de mesures de contrainte, la décision rendue en dernière instance cantonale par le Tribunal cantonal vaudois peut faire l'objet d'un recours en matière de droit public au Tribunal fédéral (art. 82 ss et 90 LTF; arrêts 2C_1272/2012 du 16 janvier 2013 consid. 1.1; 2C_745/2010 du 31 mai 2011 consid. 1.1, non publié in ATF 137 I 296). Le recours interjeté en temps utile (cf. art. 100 al. 1 LTF) et dans les formes prévues (art. 42 LTF) par le détenu qui a qualité pour agir (cf. art. 89 al. 1 LTF) est partant recevable.
2. Le Tribunal fédéral est un juge du droit. Il doit vérifier si, sur la base des faits constatés par l'instance inférieure, le droit a été correctement appliqué (cf. arrêts 4A_425/2012 du 16 février 2013 consid. 3.1.2; 2C_505/2012 du 19 juin 2012 consid. 5; 2C_376/2011 du 27 avril 2012 consid. 6.4.3; BERNARD CORBOZ, Commentaire LTF, ad art. 105 LTF, n. 24 p. 1026). L'examen du Tribunal fédéral se fonde donc sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 137 I 58 consid. 4.1.2 p. 62) - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF), ce qu'il appartient au recourant de démontrer. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). En matière de détention administrative, les éléments nouveaux de nature à confirmer ou infirmer l'imminence de l'exécution du renvoi qui sont transmis au Tribunal fédéral par les autorités peuvent être pris en compte en application de l'art. 99 al. 1 LTF, dans la seule mesure où ils sont pertinents pour apprécier le bien-fondé du maintien de l'étranger en détention (arrêts 2C_142/2013 du 1er mars 2013 consid. 3; 2C_1017/2012 du 30 octobre 2012 consid. 2).
Le recourant perd de vue ces principes, dans la mesure où il présente, dans la partie en fait de son écriture, de manière appellatoire, sa propre version de la situation de la famille avec de nombreux détails sur l'état de santé de plusieurs de ses membres et sur l'intégration scolaire de ses enfants. Dès lors que le recourant s'écarte des constatations cantonales, sans soutenir ni expliquer en quoi les juges précédents se seraient fondés sur des faits manifestement inexacts ou arbitraires, il ne sera pas tenu compte de ces éléments. Quant aux certificats médicaux du 17 mars 2013 produits, il s'agit de pièces nouvelles irrecevables. Au demeurant, l'état de santé de la famille a déjà été examiné de manière appropriée par d'autres autorités (cf. consid. 4.5 infra).
En revanche, le fait révélé par le Service cantonal dans ses observations, selon lequel la famille avait finalement refusé la proposition d'aide au retour qui lui avait été faite le 13 février 2013, sera pris en compte, puisqu'il est en lien direct avec l'imminence de l'exécution du renvoi et le maintien en détention du recourant.
3. Invoquant une violation de l'art. 76 al. 1 let. b ch. 3 et 4 LEtr, ainsi que 5 par. 1 CEDH, le recourant soutient qu'aucun motif justifiant sa mise en détention, en particulier un risque de fuite, n'est réalisé et que la détention est contraire au principe de proportionnalité. Sous cet angle, il fait état de troubles psychiatriques graves dont il souffrirait, ainsi que son épouse et ses enfants, qui se trouveraient renforcés par son enfermement.
4. 4.1 La détention administrative porte une atteinte grave à la liberté personnelle et ne peut être ordonnée que dans le respect de l'art. 5 CEDH (cf. ATF 135 II 105 consid. 2.2.1 p. 107; arrêt 2C_1017/2012 du 30 octobre 2012 consid. 3 et les jurisprudences citées) et de l'art. 31 Cst., ce qui suppose en premier lieu qu'elle repose sur une base légale. Le respect de la légalité implique ainsi que la mise en détention administrative ne soit prononcée que si les motifs prévus dans la loi sont concrètement réalisés (arrêt 2C_478/2012 du 14 juin 2012, consid. 2.1).
4.2 La mise en détention administrative du recourant repose sur l'art. 76 al. 1 let. b ch. 3 et 4 LEtr. Cette disposition prévoit que, lorsqu'une décision de renvoi a été notifiée, l'autorité compétente peut, afin d'en assurer l'exécution, mettre en détention la personne concernée si des éléments concrets font craindre qu'elle entende se soustraire au renvoi ou à l'expulsion, en particulier parce qu'elle ne se soumet pas à son obligation de collaborer (cf. ch. 3) ou si son comportement permet de conclure qu'elle se refuse à obtempérer aux instructions des autorités (cf. ch. 4). Selon la jurisprudence, un risque de fuite existe notamment lorsque l'étranger a déjà disparu une première fois dans la clandestinité (arrêts 2C_806/2010 du 21 octobre 2010 consid. 2.1; 2C_743/2009 du 7 décembre 2009 consid. 4), qu'il tente d'entraver les démarches en vue de l'exécution du renvoi en donnant des indications manifestement inexactes ou contradictoires ou encore s'il laisse clairement apparaître, par ses déclarations ou son comportement, qu'il n'est pas disposé à retourner dans son pays d'origine (cf. ATF 130 II 56 consid. 3.1 p. 58 s.; arrêt 2C_1139/2012 du 21 décembre 2012 consid. 3.2). Comme le prévoit expressément l'art. 76 al. 1 let. b ch. 3 LEtr, il faut qu'il existe des éléments concrets en ce sens (cf., notamment, arrêts 2C_142/2013 du 1er mars 2013 consid. 4.2; 2C_1017/2012 du 30 octobre 2012 consid. 4.1.1).
4.3 La critique du recourant portant sur la réalisation des motifs de mise en détention tombe à faux. En effet, celui-ci perd de vue qu'à la suite du rejet de sa première demande d'asile en 2000, il a été signalé comme disparu avec toute sa famille. Si le recourant avait bien quitté la Suisse à cette époque, comme il le prétend à présent, il lui appartenait de l'annoncer aux autorités. Quoi qu'il en soit, il ressort également des constatations cantonales, qui lient l'autorité de céans (cf. supra consid. 2), que le recourant a fait l'objet d'un avis de recherche le 25 octobre 2012 et que, depuis le rejet de sa seconde demande d'asile en 2008, le recourant a systématiquement et de manière péremptoire déclaré aux autorités (la dernière fois lors de l'audience du 4 février 2013) qu'il refusait de quitter la Suisse et de retourner en Bosnie et Herzégovine, en dépit des différentes offres d'aide au retour faites à la famille. Le refus de la dernière proposition d'aide au retour formée le 13 février 2013, qui aurait permis au recourant d'être immédiatement libéré si elle avait été acceptée, est du reste révélateur du maintien de cette position. Sur la base de ces éléments, on ne voit pas que les motifs prévus à l'art. 76 al. 1 let b ch. 3 et 4 LEtr ne seraient pas réalisés.
4.4 Il n'apparaît en outre pas que la mise en détention du recourant prononcée en février 2013, pour une durée qui correspond à la durée légale prévue à l'art. 79 al. 1 LEtr, soit en l'état contraire au principe de la proportionnalité (art. 5 al. 2 Cst. et 96 LEtr). Il n'est certes pas contesté que le recourant, ainsi que certains membres de sa famille, souffrent de problèmes psychiques et que la situation provisoire dans laquelle ils vivent en Suisse avec la menace d'un renvoi forcé, n'est pas favorable à une stabilisation de leur santé. Aucun élément précis ne permet toutefois de retenir que l'état psychique du recourant serait incompatible avec les conditions de la détention administrative (cf., à ce sujet, THOMAS HUGI YAR, Zwangsmassnahmen im Ausländerrecht, in: Uebersax/Rudin/Hugi Yar/Geiser (éd.), Ausländerrecht, 2e éd., 2009, n. 10.164 ss p. 503 s.). Par ailleurs, en procédant à la mise en détention du seul recourant, à l'exclusion des autres membres de la famille, les autorités administratives ont d'emblée restreint l'application des mesures de contrainte à ce qui est nécessaire pour enrayer le risque de fuite présenté par la famille (cf., à ce titre, HUGI YAR, op. cit., n. 10.157 p. 500).
4.5 En réalité, ce n'est pas tant sa détention que remet en cause le recourant lorsqu'il invoque son état psychique et celui de sa famille, que les conséquences d'un renvoi.
Or, l'objet de la présente procédure porte sur la détention administrative en tant que telle et non pas, en principe, sur des questions relatives à l'asile ou au renvoi; les objections concernant ces questions doivent être invoquées et examinées par les autorités compétentes lors des procédures ad hoc. De jurisprudence constante, ce n'est que si une décision de renvoi apparaît manifestement inadmissible, soit arbitraire ou nulle, qu'il est justifié de lever la détention en application de l'art. 80 al. 6 let. a LEtr, étant donné que l'exécution d'un tel ordre illicite ne doit pas être assurée par les mesures de contrainte (cf. ATF 125 II 217 consid. 2 p. 220; arrêts 2C_753/2012 du 13 août 2012 consid. 2.1.1; 2C_490/2012 du 11 juin 2012 consid. 5.3.1; 2D_66/2011 du 13 décembre 2011 consid. 6.1; 2C_935/2011 du 7 décembre 2011 consid. 7.1).
En l'espèce, le recourant a formé deux demandes de reconsidération à la suite du rejet définitif de la seconde demande d'asile le 8 octobre 2008, en faisant valoir les problèmes de santé affectant la famille. L'arrêt attaqué retient que le Tribunal administratif fédéral a rejeté la première demande le 18 juin 2012, après un examen approfondi de tous les motifs, notamment ceux relatifs à l'état de santé des intéressés. Il apparaît ainsi qu'une autorité judiciaire s'est penchée, il y a moins d'un an et dans le détail, sur l'état de santé du recourant et de sa famille et estimé que celui-ci ne justifiait pas de revenir sur le renvoi de la famille. Quant au refus d'entrer en matière sur la seconde demande de reconsidération, qui date du 14 février 2013, il permet d'en déduire que la situation n'a pas fondamentalement changé. En pareilles circonstances, rien n'indique que la décision de renvoi serait manifestement inadmissible ou arbitraire, compte tenu de l'état de santé de la famille. Il ne se justifie donc pas de lever la détention du recourant sur cette base.
Par ailleurs, l'arrêt attaqué ne fait pas état d'atteintes à la santé du recourant si importantes qu'elles rendraient impossible son transport pendant une longue période, ce qui pourrait constituer un motif de le libérer en application de l'art. 80 al. 6 let. a LEtr (cf. arrêts 2C_490/2012 du 11 juin 2012 consid. 5.3.1; 2C_952/2011 du 19 décembre 2011 consid. 4.1). Au demeurant, le recourant ne l'invoque pas.
4.6 Enfin, il n'existe pour l'instant aucun élément qui ferait douter que les autorités n'accompliraient pas les démarches nécessaires à l'exécution du renvoi avec diligence et célérité (cf. art. 76 al. 4 LEtr), les juges cantonaux ayant retenu que le Service cantonal était dans l'attente d'un vol spécial à destination de Sarajevo.
4.7 Rien ne permet donc d'en conclure que la détention du recourant serait illégale et partant contraire à l'art. 5 CEDH.
5. Au vu des éléments qui précèdent, le recours doit être rejeté, dans la mesure de sa recevabilité. Il convient par ailleurs de renoncer à la perception de frais judiciaires (art. 66 al. 1, 2ème phrase, LTF), ce qui rend sans objet la demande d'assistance judiciaire déposée par le recourant.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt est communiqué à la représentante du recourant, au Service de la population du canton de Vaud, à la Juge de paix du district de Lausanne, au Tribunal cantonal du canton de Vaud, Chambre des recours civile, et à l'Office fédéral des migrations.
Lausanne, le 10 avril 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Chatton