Faits:
A. Par demande unilatérale du 8 septembre 2008, dame A._ a ouvert action en divorce contre A._ devant le Tribunal de l'arrondissement de Lausanne. Un exemplaire de la demande a été notifié à l'époux le 10 septembre 2008 avec un délai pour se déterminer sur le principe du divorce et déposer une réponse.
L'époux a, par lettres des 9 octobre et 10 novembre 2008, requis des prolongations de délai qui lui ont été accordées, mais n'a pas procédé. L'assignation de celui-ci à l'audience préliminaire et de conciliation est revenue en retour au greffe du Tribunal avec la mention "destinataire introuvable". L'épouse ignorant la nouvelle adresse du mari, l'audience a été renvoyée sans réappointement et une ordonnance sur preuves a été rendue le 23 février 2009. Bien que cité à comparaître par voie édictale, l'époux n'a comparu à aucune des audiences ultérieures.
Par jugement du 21 janvier 2011, le Tribunal d'arrondissement a prononcé le divorce des époux A._. Cette décision a été notifiée le même jour à l'épouse sous pli recommandé. En l'absence de domicile connu du mari, le jugement lui a été notifié par publication officielle dans la Feuille des avis officiels (ci-après: FAO) du 28 janvier 2011.
B. Le 17 février 2011, l'époux s'est présenté au greffe du Tribunal d'arrondissement, où une copie du jugement lui a été remise contre déclaration de réception.
B.a Le 9 mars 2011, l'époux a déposé une requête de relief tendant à l'annulation du jugement de divorce du 21 janvier 2011, payant le même jour, par virement postal, les frais frustraires. L'épouse a contesté le droit au relief et a conclu au rejet de la requête.
B.b Après avoir entendu les parties à une audience incidente le 21 septembre 2011, le Président du Tribunal d'arrondissement a, par jugement incident du 19 octobre 2011, rejeté la requête de relief du 9 mars 2011 et confirmé le jugement rendu le 21 janvier 2011.
B.c Statuant par arrêt du 14 février 2012, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: la Cour d'appel) a rejeté l'appel de l'époux et confirmé le jugement de première instance.
C. Par acte du 7 mai 2012, l'époux interjette un "recours" au Tribunal fédéral. Il conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause "à l'autorité inférieure pour nouvelle décision dans le sens des considérants". A titre préalable, il sollicite le bénéfice de l'assistance judiciaire.
Des réponses n'ont pas été requises.

Considérant en droit:
1. 1.1 La décision attaquée, qui confirme un jugement de première instance rejetant la demande de relief déposée par le recourant à la suite de la notification d'un jugement de divorce rendu par défaut, est une décision finale (<ref-law>) prise en matière civile (<ref-law>). Le prononcé du divorce étant contesté dans sa globalité par le recourant, la question soumise au Tribunal fédéral n'est pas de nature pécuniaire, si bien que les exigences relatives à la valeur litigieuse minimale n'entrent pas en considération (<ref-law>). La décision contestée a en outre été rendue sur recours par un tribunal supérieur statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF). Interjeté dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, par la partie qui a succombé devant l'autorité précédente et qui a un intérêt digne de protection à l'annulation ou à la modification de l'arrêt entrepris (<ref-law>), le recours en matière civile -- bien que son auteur ne le désigne pas comme tel - est donc en principe recevable.
1.2 Le recours en matière civile des <ref-law> est une voie de réforme (<ref-law>). Si le Tribunal fédéral admet le recours, il peut en principe statuer lui-même sur le fond (<ref-law>). La partie recourante ne peut dès lors se borner à demander l'annulation de la décision attaquée, mais elle doit également, en principe, prendre des conclusions sur le fond du litige (arrêt 5A_835/2010 du 1er juin 2011 consid. 1.2). Il n'est fait exception à cette règle que lorsque le Tribunal fédéral, en cas d'admission du recours, ne serait de toute manière pas en situation de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (<ref-ruling> consid. 1.3 p. 383; <ref-ruling> consid. 3.1 p. 489 s.; <ref-ruling> consid. 1.2 p. 139). Les conclusions réformatoires doivent en outre être déterminées et précises, c'est-à-dire indiquer exactement quelles modifications sont demandées (HOHL, Procédure civile, tome II, 2ème éd., 2010, n° 2871 p. 510).
En l'occurrence, la recourante se limite à inviter le Tribunal fédéral à annuler l'arrêt entrepris et à renvoyer la cause "à l'Autorité inférieure pour nouvelle décision dans le sens des considérants". Aussi peut-on admettre qu'il ressort du rapprochement des motifs exposés dans le mémoire de recours et de l'arrêt attaqué que le recourant demande en réalité au Tribunal fédéral d'admettre sa requête de relief, avec les conséquences que cela implique pour le jugement de divorce du 21 janvier 2011. Bien qu'elle ne soit pas ainsi explicitée, sa conclusion sur le fond apparaît néanmoins recevable.
1.3 En vertu de l'<ref-law>, le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance (<ref-ruling> consid. 1.2 p. 3 s. et 424 consid. 3.2 p. 429; <ref-ruling> consid. 1.3 p. 527). En l'occurrence, le recourant s'en prend simultanément au raisonnement du premier juge et à celui de la Cour d'appel, en sorte que sa critique est d'emblée irrecevable en tant qu'elle concerne le jugement de première instance.
2. Le recours en matière civile au Tribunal fédéral peut être exercé pour violation du droit suisse tel qu'il est délimité à l'<ref-law>. En revanche, sous réserve des hypothèses visées à l'art. 95 let. c et d LTF, la violation du droit cantonal n'est pas un motif de recours. Toutefois, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, parce qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 2.3 p. 466).
Selon la jurisprudence, une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 3.1 p. 153 et les références citées), ce qu'il appartient à la partie recourante de démontrer en vertu de l'<ref-law> (cf. supra consid. 2.1; <ref-ruling> consid. 3.1 p. 265 s.).
En ce qui concerne la façon dont le droit cantonal a été appliqué, il ne faut pas confondre arbitraire et violation de la loi; une violation doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1). Il appartient au recourant d'établir la réalisation de ces conditions, par une argumentation précise (<ref-ruling> consid. 3 p. 351 s.; <ref-ruling> consid. 3.2 p. 400), c'est-à-dire conforme aux exigences de l'<ref-law> (principe d'allégation; <ref-ruling> consid. 1.2 p. 234; <ref-ruling> consid. 1.4.2 p. 254). Le recourant ne peut alors se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours dispose d'une libre cognition, ni ne saurait se contenter d'opposer son opinion à celle de la juridiction précédente. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (ATF <ref-ruling> consid. 3.1 p. 399 in fine et 589 consid. 2 p. 591 s.).
3. Le recours a pour objet la requête de relief déposée par l'époux le 9 mars 2011, dont le rejet a été confirmé par l'autorité précédente.
La Cour d'appel a préliminairement relevé qu'elle devait contrôler la bonne application du droit de procédure cantonal, à savoir le Code de procédure civile vaudois du 14 décembre 1966 (ci-après: CPC-VD), applicable en vertu de l'art. 404 al. 1 du Code de procédure civile du 19 décembre 2008 (ci-après: CPC), puisque la première instance était pendante lors de l'entrée en vigueur de la procédure civile fédérale. La Cour cantonale a ensuite retenu que la demande unilatérale de divorce a pu être notifiée par voie postale au recourant, lequel a mentionné cette même adresse dans ses courriers sollicitant une prolongation de délai pour déposer sa réponse. L'autorité précédente a ainsi constaté que l'acte introductif d'instance a pu être valablement notifié à l'époux, qui a en conséquence été informé de la procédure de divorce en cours. La cour cantonale a également relevé que le mari ne contestait pas avoir changé de domicile avant l'audience préliminaire et a ainsi tenue pour probante la mention faite au procès-verbal des opérations selon laquelle la citation à comparaître de l'époux est venue en retour en raison d'un changement d'adresse. La Cour d'appel a ainsi considéré qu'il appartenait, dans ces circonstances, au mari de s'inquiéter de l'avancement de la procédure pendante et d'indiquer au Tribunal une adresse à laquelle les actes pouvaient lui être notifiés, ce que celui-ci n'a pas fait. Elle a donc admis que les notifications par voie édictale étaient régulières. Relevant que le délai pour demander le relief et verser l'avance de frais frustraires est de vingt jours dès la notification du jugement (<ref-law>-VD) et que celui-ci avait fait l'objet d'une publication dans la FAO du 28 janvier 2011 faisant partir les délais de relief et de recours, la cour cantonale a par conséquent jugé que la requête de relief du 9 mars 2011 était tardive.
4. Le recourant reproche à la Cour d'appel d'avoir procédé à une "application arbitraire du droit cantonal", en particulier de l'<ref-law>-VD, en considérant que la notification par la Poste était dénuée d'effet juridique. Il expose que le juge devait refuser la notification par publication officielle selon l'<ref-law>-VD, parce que la partie instante n'avait pas justifié avoir fait les démarches convenables pour découvrir la résidence du destinataire de l'acte. Il soutient qu'il appartenait à l'épouse de découvrir sa nouvelle résidence, car on ne saurait, selon lui, considérer que la procédure était en cours et qu'il lui appartenait d'informer le Tribunal d'un éventuel changement d'adresse. Il en conclut que la publication officielle du 28 janvier 2011 était irrégulière et qu'il a pris connaissance du jugement litigieux le 17 février 2011, en sorte que la requête de relief a été déposée en temps utile.
4.1 La question litigieuse - que la cour de céans doit examiner sous l'angle restreint de l'application arbitraire du droit cantonal de procédure (cf. supra consid. 2) - est celle du point de départ du délai de vingt jours prévu à l'<ref-law>-VD pour le dépôt d'une requête de relief et d'avance des frais frustraires, ce qui suppose d'examiner à titre préliminaire la validité de la notification par voie édictale au sens des art. 22, 28 et 30 CPC-VD.
4.2 S'agissant de la notification du jugement de divorce du 21 janvier 2011, le recourant soutient qu'elle est intervenue en violation des art. 22, 28 et 30 CPC-VD.
Bien que la notification du jugement soit intervenue postérieurement à l'entrée en vigueur, le 1er janvier 2011, du nouveau Code de procédure civile fédéral, le jugement au fond a été rendu sous l'empire du Code de procédure civile cantonal vaudois (dans sa teneur en vigueur jusqu'au 31 décembre 2010; CPC-VD), en sorte que se pose la question du droit applicable. En vertu de l'<ref-law>, l'ancien droit demeure applicable jusqu'à la clôture de l'instance, ce qui signifie que la procédure civile vaudoise régissait encore la notification, laquelle s'inscrit toujours, au sens large, dans le cadre de la première instance (TAPPY, CPC commenté, 2011, n° 12 ad <ref-law>; arrêt de la Cour civile du Tribunal cantonal du canton de Vaud du 25 avril 2012, CO12.015243 59/2012/PHC); partant, sur le principe, c'est à bon droit que le recourant invoque les dispositions du CPC-VD.
4.2.1 Aux termes de l'<ref-law>-VD, "[l]a notification consiste dans la remise de l'acte à la personne à laquelle il est adressé ou à sa demeure" (al. 1). "Elle est faite par la poste, à moins que le juge décide, eu égard aux circonstances, qu'elle aura lieu par l'huissier ou, lorsque la loi le prévoit, par publication officielle" (al. 2). "La notification du premier acte d'une procédure doit avoir lieu par l'huissier lorsque la poste n'a pas distribué l'envoi" (al. 3). Selon la doctrine, l'<ref-law>-VD énumère simplement les trois modes de notification prévus par le code, soit par la poste (art. 23), par l'huissier (art. 24-27) et par publication officielle (art. 28-30); elle indique en outre l'ordre dans lequel il y a lieu d'y recourir (POUDRET/HALDY/TAPPY, Procédure civile vaudoise, 3ème éd. 2002, n° 2 ad <ref-law>-VD).
La notification par publication officielle (<ref-law>-VD), qui repose sur la fiction que celle-ci atteint le destinataire (POUDRET/HALDY/TAPPY, op. cit., n° 1 ad <ref-law>-VD), est autorisée lorsque toute autre notification est impossible, notamment si la résidence de cette partie demeure inconnue en dépit des démarches entreprises par la partie instante pour la découvrir selon l'<ref-law>-VD. Cette dernière disposition n'astreint pas la partie instante à rechercher l'adresse de sa partie adverse lorsque celle-ci, sachant qu'un procès était ouvert contre elle ou ayant même procédé, se dérobe à la notification en changeant de domicile sans en aviser le greffe (POUDRET/HALDY/TAPPY, op. cit., ad <ref-law>-VD).
4.2.2 En l'espèce, il sied de souligner que la notification litigieuse ne porte pas sur le premier acte de la procédure, l'autorité précédente ayant constaté que l'acte introductif d'instance avait pu être valablement notifié au recourant le 10 septembre 2008, ce dernier ayant réagi en sollicitant deux prolongations de délai pour déposer sa réponse (cf. supra consid. 3), constatations de fait que le recourant ne remet au demeurant pas en cause (cf. supra consid. 2.2). Par conséquent, c'est en vain que le recourant invoque l'<ref-law>-VD afin que la notification du jugement de divorce intervienne par la poste.
Dans ce contexte, l'<ref-law>-VD ne s'appliquait pas non plus au cas d'espèce, autrement dit, la partie intimée n'avait pas à faire la preuve de démarches convenables pour découvrir la résidence du recourant, dès lors que celui-ci savait qu'une procédure était pendante contre lui et n'a pas annoncé de changement d'adresse au greffe. Par ailleurs, dans le cadre d'une instance introduite depuis près de deux ans et demi et alors que celle-ci a suivi son cours sans interruption notable, le recourant devait en tout état compter avec la possibilité que des actes judiciaires doivent lui être notifiés. Les autres méthodes de notification étant impossibles à réaliser faute de résidence connue, rien ne s'opposait à la validité de la notification du jugement par publication officielle dans la FAO le 28 janvier 2011, en sorte que la notification par voie édictale au sens de l'<ref-law>-VD est régulière.
4.3 Le recourant soutient ensuite qu'il a pris connaissance du jugement de divorce le 17 février 2011 seulement, partant qu'il a déposé sa requête de relief et versé l'avance de frais frustraires, prévus par l'art. 309 al. 1 et 3 CPC-VD, en temps utile.
4.3.1 L'<ref-law>-VD prévoit que, par requête déposée dans les vingt jours dès la notification du jugement, la partie défaillante peut demander le relief (al. 1); la demande de relief n'est recevable que si, dans le même délai, le requérant a déposé au greffe la somme fixée par le juge pour assurer le paiement des dépens frustraires, qui sont arrêtés d'office par le juge (al. 3). Le point de départ des délais en cas de notification par voie édictale consiste en la publication officielle de l'acte attaqué dans la Feuille des avis officiels (POUDRET/HALDY/TAPPY, op. cit., n° 1 ad <ref-law>-VD; <ref-ruling> consid. 1 p. 222 et les références).
4.3.2 Dans le cas d'espèce, dès lors que la notification par publication officielle a été valablement effectuée (cf. supra consid. 4.3.2), elle a déployé des effets juridiques, en particulier en ce qui concerne les délais de relief. La fiction de la notification est ainsi intervenue par publication à la FAO du vendredi 28 janvier 2011, sans que la prise de connaissance effective du recourant soit pertinente en matière de dies a quo. Le délai de vingt jours a commencé à courir le lendemain de la fiction de la notification, pour échoir le jeudi 17 février 2011. La requête de relief déposée le 9 mars 2011 et l'avance de frais frustraires payée le même jour ne sont donc pas intervenues dans le délai de vingt jours prescrit par l'art. 309 al. 1 et 3 CPC-VD.
4.4 En définitive, il apparaît que la cour cantonale n'a pas fait une application arbitraire des art. 22, 28, 30 et 309 CPC-VD, en sorte que le moyen du recourant ne peut qu'être écarté, dans la mesure où il est recevable (cf. supra consid. 2.3).
5. Vu ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les conclusions du recourant étant d'emblée dénuées de toute chance de succès, sa demande d'assistance judiciaire pour la procédure devant la cour de céans ne saurait être agréée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens à l'intimée qui n'a pas été invitée à se déterminer.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire du recourant est rejetée.
3. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 juillet 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Carlin