Faits : A. Le 24 novembre 1993, le Président du Tribunal civil du district de Lausanne a prononcé le divorce des époux A._et B._ et ratifié la convention sur les effets accessoires signée par les parties qui prévoyait notamment que A._ verserait une pension après divorce de 1'800 fr. par mois. B. Lors de l'audience du 1 er juillet 2014 tenue dans le cadre de la procédure en modification du jugement de divorce introduite par A._, les parties ont passé une nouvelle convention fixant la contribution mensuelle à 700 fr. dès le 1 er juin 2014. Le prénommé se reconnaissait en outre débiteur d'un arriéré de pensions de 102'831 fr. pour les mois de mars 2008 à novembre 2013, montant payable au plus tard le 31 décembre 2014. Il était par ailleurs rappelé, à titre liminaire, que le débirentier était " à la retraite depuis 5 ans " et avait " pour seul revenu [...] une rente de l'assurance vieillesse et survivant ". C. A._ ne s'est acquitté que de 300 fr. pour les mois de janvier à avril 2016. Il a fait l'objet d'une poursuite en paiement de l'arriéré de 1'600 fr., plus intérêts, à laquelle il n'a pas fait opposition (commandement de payer, poursuite n o xxx._). Par demande du 28 septembre 2016, il a agi en suppression de la contribution d'entretien avec effet au 30 août 2016. Il a été débouté par jugement du 8 décembre 2017, confirmé par la Cour d'appel civile du Tribunal cantonal vaudois le 8 juin 2018. Le 30 juillet suivant, le Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, son recours en matière civile (5A_602/2018). Pour les mois de décembre 2015 et de mai à novembre 2016, A._ n'a versé que 300 fr. par mois et 1 fr. pour le mois de décembre 2016. B._ a introduit une poursuite en paiement de l'arriéré de 3'899 fr., plus intérêts. L'opposition au commandement de payer (poursuite n o yyy._) a été définitivement levée le 29 juin 2017. D. Par ordonnance pénale du 7 mars 2018, le Ministère public de l'arrondissement de Lausanne, constatant que A._ n'avait " manifestement pas entrepris les efforts qu'on pouvait attendre raisonnablement de lui en vue de s'acquitter de la pension à laquelle il [était] tenu ", l'a condamné à une peine pécuniaire de 120 jours-amende à 30 fr., avec sursis pendant deux ans, pour violation de son obligation de contribuer à l'entretien de son ex-épouse pour la période des mois de décembre 2015 à février 2018. E. Dans l'intervalle, le 17 novembre 2017, sur requête de B._, l'Office des poursuites du district de Lausanne (ci-après : l'Office) avait notifié à A._ un commandement de payer (poursuite n o zzz._) la somme de 6'291 fr., plus intérêts, correspondant à l'arriéré des contributions pour les mois de janvier à septembre 2017, le prénommé n'ayant versé qu'un franc par mois pour cette période. L'opposition formée par le poursuivi a été définitivement levée par prononcé de la Juge de paix du district de Lausanne du 22 janvier 2018. Le 25 septembre suivant, la créancière poursuivante a requis la continuation de la poursuite. L'Office a établi un acte de défaut de biens pour la créance totale de 7'979 fr. 35, intérêts et frais inclus. Il a en substance estimé que le couple ne menait pas un " train de vie élevé " et que, dans ces conditions, au regard de la jurisprudence publiée aux ATF 144 III 407, la rente AVS du poursuivi demeurait absolument insaisissable. Par décision adressée pour notification le 14 mars 2019, le Président du Tribunal d'arrondissement de Lausanne a, en sa qualité d'Autorité inférieure de surveillance, admis la plainte déposée par B._ contre cet acte de défaut de biens, déclaré saisissable la rente AVS perçue par A._et ordonné à l'Office d'exécuter la saisie sur le solde dû par 6'291 fr., selon l'acte de défaut de biens du 8 novembre 2018, avec intérêt à 5% l'an dès le 15 avril 2017 et frais en sus. Il a rendu sa décision sans frais ni dépens. Il a considéré en bref que le débiteur commettait un abus de droit en se prévalant de l'art. 92 LP pour se dispenser du paiement de la contribution due à son ex-femme. Le 19 juin 2019, la Cour des poursuites et faillites du Tribunal cantonal vaudois a, en sa qualité d'Autorité supérieure de surveillance, rejeté le recours interjeté par A._et confirmé ce prononcé. Elle a admis la demande d'assistance judiciaire de B._, lui a désigné un conseil d'office pour la procédure de recours et fixé l'indemnité d'office, sous réserve de l'art. 123 CPC. Elle a enfin rendu l'arrêt sans frais ni dépens et l'a déclaré exécutoire. F. Par écriture du 1 er juillet 2019, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut, principalement, à la réforme de l'arrêt cantonal en ce sens que le prononcé de première instance est annulé, la rente AVS perçue est déclarée absolument insaisissable et l'acte de défaut de biens du 8 novembre 2018 (poursuite no zzz._) est maintenu. Subsidiairement, il demande l'annulation et le renvoi pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire et la fixation d'un délai afin qu'il puisse "produire toutes les pièces nécessaires à l'examen de sa situation financière actuelle ainsi qu'un formulaire de demande d'assistance judiciaire daté et signé". Requérant également l'assistance judiciaire, B._ propose la confirmation de l'arrêt cantonal. La Cour des poursuites et faillites renvoie à ses considérants. L'Office se réfère à sa détermination du 9 janvier 2019 à l'Autorité inférieure de surveillance et s'en remet, pour le surplus, à justice. G. Invité à établir les conditions d'octroi de l'assistance judiciaire, le recourant a déposé divers pièces dans le délai imparti.