Faits: A. A.a. Le 10 octobre 2011, sur réquisition de l'Office d'impôt du district de Morges, représentant l'Etat de Vaud, l'Office des poursuites du district de Morges a notifié à A._ un commandement de payer (poursuite n o xxxx) les sommes de xxxx fr., avec intérêts à 3,5 % dès le 6 décembre 2010 (I), de xxxx fr. (II) et de xxxx fr. (III), ces deux derniers montants ne portant pas intérêts. Sous la rubrique cause de l'obligation, il était indiqué: (I) " Impôt sur le revenu et la fortune 2008 (Etat de Vaud, Commune de [...]) selon décision de taxation du 04.11.2010 et du décompte final du 08.11.2010; sommation adressée le 11.01.2011 ", (II) " Intérêts moratoires sur acomptes " et " Intérêts compensatoires". A.b. A._ ayant fait opposition totale, le poursuivant en a requis la mainlevée définitive le 20 mars 2012. Dans ce cadre, par pli recommandé du 2 mai 2012, le Juge de paix du district de Morges a imparti à A._ un délai au 1 er juin suivant pour qu'il se détermine sur la requête et dépose toutes pièces utiles. Il a attiré l'attention du poursuivi sur le fait que, même s'il ne procédait pas, la procédure suivrait son cours et qu'il serait statué sans audience, sur la base du dossier conformément aux art. 147 al. 3 et 256 al. 1 CPC. Le 1 er juin 2012, A._ a sollicité la prolongation de ce délai, laquelle lui a été refusée le 4 juin suivant. Par arrêt du 19 juillet 2012, la Cour des poursuites et faillites du Tribunal cantonal a déclaré irrecevable le recours interjeté contre cette décision de refus, motif pris qu'elle ne causait pas un préjudice irréparable justifiant le recours immédiat. A.c. Par prononcé du 11 juin 2012, le juge de paix a levé définitivement l'opposition au commandement de payer. A.d. Par arrêt du 15 août 2013, la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud a rejeté le recours de A._ interjeté contre cette décision de mainlevée définitive, qu'elle a maintenue. Elle a par ailleurs confirmé, dans ses considérants, le refus de la demande de prolongation du délai de détermination. L'assistance judiciaire, sous la forme d'une exonération des avances et des frais judiciaires, ayant été accordée au recourant, elle a mis les frais à la charge de l'Etat, réservant leur remboursement ultérieur conformément à l'art. 123 CPC. B. Par écriture du 23 septembre 2013, A._ exerce un recours constitutionnel subsidiaire au Tribunal fédéral. Principalement, il conclut à la réforme de l'arrêt cantonal en ce sens que le prononcé du Juge de Paix du district de Morges du 11 juin 2012 est annulé et qu'ordre est donné à ce magistrat de lui impartir un nouveau délai de détermination avant toute nouvelle décision sur la requête de mainlevée. Subsidiairement, il demande le renvoi de la cause pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire, son mandataire lui étant désigné en qualité d'avocat d'office. L'Office d'impôt du district de Morges propose le rejet du recours. Bien qu'elle déclare se référer à ses considérants, l'autorité cantonale prétend que son arrêt ne comporte aucune contradiction et souligne le caractère abusif du comportement du recourant. C. Par ordonnance du 1 er octobre 2013, le Président de la II e Cour de droit civil a accordé l'effet suspensif au recours.