Faits: A. Le 12 décembre 2011, sur réquisition de l'Office d'impôt du district de B._, représentant la Confédération suisse, l'Office des poursuites du district de B._ a notifié à H.X._ un commandement de payer (poursuite n o xxx) la somme de 200 fr., plus intérêts à 3,5 % l'an dès le 19 avril 2007. Sous la rubrique cause de l'obligation, il était indiqué: " Amende d'ordre défaut DI IFD 2004 (Confédération suisse) selon décision de taxation du 19.03.2007 et du décompte final du 19.03.2007; sommation adressée le 10.05.2007 ". H.X._ ayant fait opposition totale au commandement de payer, la poursuivante en a requis la mainlevée définitive le 25 juillet 2012. Dans ce cadre, par pli recommandé du 7 août 2012, le Juge de paix du district de B._ a imparti à H.X._ un délai au 10 octobre suivant pour qu'il se détermine sur la requête et dépose toutes pièces utiles. Il a attiré l'attention du poursuivi sur le fait que, même s'il ne procédait pas, la procédure suivrait son cours et qu'il serait statué sans audience, sur la base des dossiers conformément aux art. 147 al. 3 et 256 al. 1 CPC. Le 10 octobre 2012, invoquant la " complexité de cette affaire ", H.X._ a sollicité la prolongation de ce délai. Le juge a opposé son refus par avis du 11 octobre suivant, motif pris qu'un délai suffisant avait déjà été imparti. Par prononcé du 17 octobre 2012, dont les motifs ont été adressés pour notification aux parties le 26 novembre suivant, le juge de paix a levé définitivement l'opposition au commandement de payer. Par arrêt du 28 mars 2013, la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud a rejeté le recours de H.X._ interjeté contre cette décision de mainlevée définitive, qu'elle a confirmée. L'assistance judiciaire, sous la forme d'une exonération des avances et des frais judiciaires, ayant été accordée au recourant, elle a mis les frais à la charge de l'Etat, réservant leur remboursement ultérieur conformément à l'art. 123 CPC. B. Par écriture du 10 mai 2013, H.X._ exerce, en son " nom propre, et assisté par Me C._ ", un recours constitutionnel subsidiaire au Tribunal fédéral contre cet arrêt. Il conclut à l'annulation tant du prononcé du Juge de Paix du district de B._ du 17 octobre 2012 que de l'arrêt de la Cour des poursuites et faillites du 28 mars 2013 et au renvoi de la cause au juge de paix pour qu'il lui impartisse un délai supplémentaire de détermination avant de rendre la décision sur la requête de mainlevée, ainsi qu'à l'admission de la " prescription des revendications " de la poursuite n o xxx. Il demande que les frais judiciaires soient mis à la charge du fisc et qu'une équitable indemnité lui soit allouée à titre de dépens. Il sollicite en outre l'assistance judiciaire totale, Me C._ lui étant désigné en qualité d'avocat d'office. Il n'a pas été demandé de réponses au fond. C. Le 24 mai 2013, le Président de la II e Cour de droit civil a accordé l'effet suspensif à titre superprovisoire. Invitée à se déterminer sur la requête d'effet suspensif jusqu'au 24 mai 2013, l'intimée a posté sa détermination le 29 mai suivant. L'autorité cantonale n'a pas répondu sur ce point.