Faits :
A.
Le 24 novembre 1993, le Président du Tribunal civil du district de Lausanne a prononcé le divorce des époux A._et B._ et ratifié la convention sur les effets accessoires signée par les parties qui prévoyait notamment que A._ verserait une pension après divorce de 1'800 fr. par mois.
B.
Lors de l'audience du 1 er juillet 2014 tenue dans le cadre de la procédure en modification du jugement de divorce introduite par A._, les parties ont passé une nouvelle convention fixant la contribution mensuelle à 700 fr. dès le 1 er juin 2014. Le prénommé se reconnaissait en outre débiteur d'un arriéré de pensions de 102'831 fr. pour les mois de mars 2008 à novembre 2013, montant payable au plus tard le 31 décembre 2014. Il était par ailleurs rappelé, à titre liminaire, que le débirentier était " à la retraite depuis 5 ans " et avait " pour seul revenu [...] une rente de l'assurance vieillesse et survivant ".
C.
A._ ne s'est acquitté que de 300 fr. pour les mois de janvier à avril 2016. Il a fait l'objet d'une poursuite en paiement de l'arriéré de 1'600 fr., plus intérêts, à laquelle il n'a pas fait opposition (commandement de payer, poursuite n o xxx._).
Par demande du 28 septembre 2016, il a agi en suppression de la contribution d'entretien avec effet au 30 août 2016. Il a été débouté par jugement du 8 décembre 2017, confirmé par la Cour d'appel civile du Tribunal cantonal vaudois le 8 juin 2018. Le 30 juillet suivant, le Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, son recours en matière civile (5A_602/2018).
Pour les mois de décembre 2015 et de mai à novembre 2016, A._ n'a versé que 300 fr. par mois et 1 fr. pour le mois de décembre 2016. B._ a introduit une poursuite en paiement de l'arriéré de 3'899 fr., plus intérêts. L'opposition au commandement de payer (poursuite n o yyy._) a été définitivement levée le 29 juin 2017.
D.
Par ordonnance pénale du 7 mars 2018, le Ministère public de l'arrondissement de Lausanne, constatant que A._ n'avait " manifestement pas entrepris les efforts qu'on pouvait attendre raisonnablement de lui en vue de s'acquitter de la pension à laquelle il [était] tenu ", l'a condamné à une peine pécuniaire de 120 jours-amende à 30 fr., avec sursis pendant deux ans, pour violation de son obligation de contribuer à l'entretien de son ex-épouse pour la période des mois de décembre 2015 à février 2018.
E.
Dans l'intervalle, le 17 novembre 2017, sur requête de B._, l'Office des poursuites du district de Lausanne (ci-après : l'Office) avait notifié à A._ un commandement de payer (poursuite n o zzz._) la somme de 6'291 fr., plus intérêts, correspondant à l'arriéré des contributions pour les mois de janvier à septembre 2017, le prénommé n'ayant versé qu'un franc par mois pour cette période. L'opposition formée par le poursuivi a été définitivement levée par prononcé de la Juge de paix du district de Lausanne du 22 janvier 2018.
Le 25 septembre suivant, la créancière poursuivante a requis la continuation de la poursuite.
L'Office a établi un acte de défaut de biens pour la créance totale de 7'979 fr. 35, intérêts et frais inclus. Il a en substance estimé que le couple ne menait pas un " train de vie élevé " et que, dans ces conditions, au regard de la jurisprudence publiée aux <ref-ruling>, la rente AVS du poursuivi demeurait absolument insaisissable.
Par décision adressée pour notification le 14 mars 2019, le Président du Tribunal d'arrondissement de Lausanne a, en sa qualité d'Autorité inférieure de surveillance, admis la plainte déposée par B._ contre cet acte de défaut de biens, déclaré saisissable la rente AVS perçue par A._et ordonné à l'Office d'exécuter la saisie sur le solde dû par 6'291 fr., selon l'acte de défaut de biens du 8 novembre 2018, avec intérêt à 5% l'an dès le 15 avril 2017 et frais en sus. Il a rendu sa décision sans frais ni dépens. Il a considéré en bref que le débiteur commettait un abus de droit en se prévalant de l'<ref-law> pour se dispenser du paiement de la contribution due à son ex-femme.
Le 19 juin 2019, la Cour des poursuites et faillites du Tribunal cantonal vaudois a, en sa qualité d'Autorité supérieure de surveillance, rejeté le recours interjeté par A._et confirmé ce prononcé. Elle a admis la demande d'assistance judiciaire de B._, lui a désigné un conseil d'office pour la procédure de recours et fixé l'indemnité d'office, sous réserve de l'<ref-law>. Elle a enfin rendu l'arrêt sans frais ni dépens et l'a déclaré exécutoire.
F.
Par écriture du 1 er juillet 2019, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut, principalement, à la réforme de l'arrêt cantonal en ce sens que le prononcé de première instance est annulé, la rente AVS perçue est déclarée absolument insaisissable et l'acte de défaut de biens du 8 novembre 2018 (poursuite no zzz._) est maintenu. Subsidiairement, il demande l'annulation et le renvoi pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire et la fixation d'un délai afin qu'il puisse "produire toutes les pièces nécessaires à l'examen de sa situation financière actuelle ainsi qu'un formulaire de demande d'assistance judiciaire daté et signé".
Requérant également l'assistance judiciaire, B._ propose la confirmation de l'arrêt cantonal. La Cour des poursuites et faillites renvoie à ses considérants. L'Office se réfère à sa détermination du 9 janvier 2019 à l'Autorité inférieure de surveillance et s'en remet, pour le surplus, à justice.
G.
Invité à établir les conditions d'octroi de l'assistance judiciaire, le recourant a déposé divers pièces dans le délai imparti.

Considérant en droit :
1.
Le recours a été déposé dans le délai légal (<ref-law>) à l'encontre d'une décision prise en matière de poursuite pour dettes et faillite (<ref-law>) par une autorité cantonale supérieure de surveillance statuant sur recours (art. 75 al. 1 et 2 LTF). Il est ouvert sans égard à la valeur litigieuse (art. 74 al. 2 let. c LTF). Le débiteur, qui a succombé en instance cantonale, a qualité pour recourir (<ref-law>).
L'autorité précédente a confirmé une décision qui déclare saisissable la rente AVS du recourant et ordonne " à l'Office d'exécuter la saisie sur le solde dû par 6'291 fr., selon l'acte de défaut de biens délivré, avec intérêt à 5% l'an dès le 15 avril 2017 et frais en sus ", mais ne fixe pas elle-même la quotité saisissable. Il n'y a pas lieu de qualifier la décision entreprise sous l'angle des <ref-law>; la jurisprudence admet en effet la recevabilité du recours dirigé contre une décision comportant des "injonctions très précises" à l'endroit des organes d'exécution (<ref-ruling> consid. 1.2; arrêts 5A_926/2017 du 6 juin 2018 consid. 1 non publié aux <ref-ruling>; 5A_736/2015 du 14 janvier 2016 consid. 1.3, avec les arrêts cités).
2.
Le recourant reproche à l'autorité cantonale d'avoir retenu qu'il commettait un abus de droit en se prévalant de l'insaisissabilité de sa rente AVS. Il forme son recours " pour abus de pouvoir d'appréciation du juge (<ref-law>) dans le cadre de l'application des <ref-law> et 2 al. 2 CC et pour violation du principe de l'interdiction de l'arbitraire (art. 9 Cst.) ".
2.1. Après avoir relevé que l'insaisissabilité absolue des prestations du premier pilier (<ref-law>) peut se heurter à l'interdiction de l'abus de droit - seule question qui était litigieuse en l'espèce -, la Cour des poursuites et faillites a retenu que le débiteur ne menait pas un " grand train de vie ", contrairement à ce qu'avait admis l'autorité inférieure. Elle a considéré en substance que la présente cause était similaire à celle traitée dans l'arrêt publié aux <ref-ruling>, si l'on tenait compte des charges ordinaires et non seulement du minimum vital, sans pour autant prendre en considération toutes les charges relatives à l'enfant majeur.
Elle a cependant jugé que, dans le cas particulier, il existait toutefois manifestement un abus de droit qui résidait dans le fait même que le débiteur ne disposait plus que d'une rente insaisissable et qu'il s'était délibérément mis dans cette situation. Elle a relevé à cet égard que, dans sa demande du 28 septembre 2016 tendant à la suppression de la pension, l'intéressé avait allégué que ses fonds du deuxième pilier avaient servi à alimenter une police de prévoyance libre troisième pilier B de sa seconde épouse; il avait par ailleurs également affirmé avoir dû utiliser " le solde" de cette police pour payer un arriéré de pensions à son ex-femme. De toute évidence, le reste de ses ressources avait servi à aider son épouse à acquérir l'immeuble dans lequel vivait le couple, ne serait-ce que pour fournir une garantie telle qu'une assurance-vie, puisque le recourant était codébiteur du crédit-hypothécaire, alors que seule sa conjointe était propriétaire de l'immeuble. Celui-là ne pouvait dès lors soutenir avec pertinence qu'il était choquant d'exiger de sa seconde femme qu'elle assume l'entretien de la première. A cela s'ajoutait l'argument selon lequel il avait accepté, en 2014, de payer une pension de 700 fr. parce qu'il pouvait " compter sur sa rente AVS pour ne pas être totalement à la charge de son épouse, puisqu'en principe une telle rente était absolument insaisissable ", ce qui laissait à penser qu'il misait déjà sur le caractère insaisissable de ses revenus pour pouvoir éventuellement échapper aux obligations auxquelles il souscrivait. Ainsi, alors que tous les juges intervenus dans les procédures tant civiles que pénales qui avaient divisé les parties avaient estimé que le débirentier pouvait payer la pension due - appréciation que le résultat du calcul de l'Office ne contredisait pas -, leurs décisions ne pourraient être exécutées faute de pouvoir saisir le montant de la pension au profit de la créancière, dont la situation financière était pourtant bien plus modeste que celle du débiteur. Or, un tel résultat était choquant.
2.2. A teneur de l'<ref-law>, l'abus manifeste d'un droit n'est pas protégé par la loi. Cette règle permet au juge de corriger les effets de la loi dans certains cas où l'exercice d'un droit allégué créerait une injustice manifeste. Le juge apprécie la question au regard des circonstances concrètes. Les cas typiques en sont l'absence d'intérêt à l'exercice d'un droit, l'utilisation d'une institution juridique de façon contraire à son but, la disproportion manifeste des intérêts en présence, l'exercice d'un droit sans ménagement ou l'attitude contradictoire. L'abus de droit doit être admis restrictivement, comme l'exprime l'adjectif " manifeste " utilisé dans le texte légal (<ref-ruling> consid. 3.1; <ref-ruling> consid. 3.3.1 et les arrêts cités; arrêt 4A_158/2019 du 26 février 2020 consid. 5.7).
Commet en particulier un abus de droit la personne qui, par son comportement initial, inspire à autrui une confiance digne de protection qui est ensuite trahie par des comportements ultérieurs (<ref-ruling> consid. 4.2). Une faute de l'auteur des actes contradictoires n'est pas nécessaire; il suffit que, par son comportement interprété normativement, il ait suscité une confiance légitime qui est ensuite déçue (HAUSHEER/AEBI-MÜLLER, in Berner Kommentar, 2012, n os 269 et 271 ad <ref-law>). Est notamment digne de protection la confiance de celui qui, sur la base de l'attitude initiale de son partenaire, a pris des dispositions qui se révèlent ensuite désavantageuses en raison du revirement d'attitude (<ref-ruling> consid. 2a; <ref-ruling> consid. 5b; HAUSHEER/AEBI-MÜLLER, op. cit., n° 273 ad <ref-law>).
Plus singulièrement, dans le cadre de l'<ref-law>, le Tribunal fédéral considère que, dans l'hypothèse où le poursuivi, créancier de prestations insaisissables, disposerait d'autres sources de revenus localisées à l'étranger, l'interdiction de l'abus de droit le contraindrait à supporter une saisie de ces prestations en principe insaisissables et qu'il en va ainsi pour un débiteur qui mène un grand train de vie grâce aux revenus ou à la fortune de son conjoint, alors que lui-même n'est bénéficiaire que de ressources insaisissables selon l'<ref-law> (<ref-ruling> consid. 4.2.3; arrêts 5A_14/2007 du 14 mai 2007 consid. 3.1; 7B.208/2005 du 5 janvier 2006 consid. 3). Il n'a par ailleurs pas jugé fondé l'argument selon lequel le principe de l'insaisissabilité des rentes et prestations visées par l'<ref-law> serait limité aux deux manières qui viennent d'être évoquées (arrêt 5A_14/2007 précité consid. 3.2).
2.3. Après un exposé juridique général, le recourant prétend que, dans la mesure où elle a reconnu qu'il ne mène pas " grand train de vie ", l'autorité cantonale devait, " en vertu du principe de l'égalité de traitement ", tirer la même conclusion que dans l'arrêt publié aux <ref-ruling>, à savoir nier l'existence d'un abus de droit et déclarer insaisissable sa rente AVS. Ce faisant, il perd de vue que la Cour des poursuites et faillites a considéré que l'invocation de l'insaisissabilité absolue de la rente AVS était manifestement abusive pour un autre motif, à savoir que le débiteur ne disposait plus que d'une rente insaisissable et qu'il s'était délibérément mis dans cette situation.
2.4.
2.4.1. A cet égard, le recourant oppose d'abord que les circonstances du cas d'espèce ne permettent pas de retenir qu'il aurait " échafaudé toute une stratégie en vue de se faire qualifier d'insaisissable dans l'unique but de ne rien payer " ou de lui imputer " une mauvaise intention au jour de la signature de la nouvelle convention d'entretien ". Ce faisant, il méconnaît toutefois que l'interdiction de l'abus de droit ne suppose pas que celui qui abuse de son droit ait l'intention de nuire (<ref-ruling> consid. 4.2; arrêt 4A_485/2016 du 28 avril 2017 consid. 2.2) ou ait commis une faute (cf. supra, consid. 2.2).
2.4.2. Pour le reste, il soutient qu'il ne s'est pas " délibérément mis dans une situation financière serrée ", qu'il a " précisément vidé ses comptes de prévoyance afin de s'acquitter de l'arriéré de pensions dû à la plaignante " et que " c'est ainsi la contribution d'entretien qui [l']a mis [...] dans une situation délicate ", comme l'attestent ses " multiples essais " pour la faire supprimer ou, à tout le moins, diminuer. Il affirme encore que la réduction convenue en 2014 l'a été à la suite des démarches qu'il a entreprises en ce sens car il " ne disposait plus des moyens financiers suffisants pour honorer ses obligations " et avait liquidé son deuxième pilier pour s'acquitter de son arriéré de pensions, qu'il avait " donc naturellement considéré à l'époque que cette diminution conventionnelle était préférable au risque de demeurer astreint au paiement mensuel de CHF 1800 ", qu'à l'époque, son " fils [...] était plus jeune et ne représentait pas une charge financière aussi grande qu'actuellement " et qu'il a donc " bel et bien entrepris personnellement des démarches en vue de stopper la lente mais constante augmentation de sa dette ". Enfin, reprenant in extenso son écriture cantonale, il taxe la décision de l'autorité de surveillance de " choquante ", car " il est indiscutable que ce n'est pas [sa] rente AVS qui permettra d'honorer les dettes de contributions d'entretien " ni " d'acquitter les dettes en faveur de son ex-épouse ", ainsi que l'atteste la décision de première instance, et car c'est son épouse qui sera en réalité tenue d'assumer l'entretien de son ex-conjointe dont il est divorcé depuis " vingt-six ans ".
Ce faisant, il s'écarte de l'arrêt entrepris - sans en démontrer l'arbitraire -en tant que celui-là constate que ses fonds du deuxième pilier ont servi à alimenter une police de prévoyance libre troisième pilier B au nom de sa seconde femme et que, si le " solde " de cette police a été affecté au paiement de l'arriéré de pensions envers sa précédente conjointe, le reste de ses ressources a, " de toute évidence ", servi à aider sa nouvelle épouse à acquérir en pleine propriété l'immeuble dans lequel vit le couple mais dont il est cependant codébiteur solidaire de la dette. Il ne conteste pas non plus que, lors de la signature de la convention ratifiée le 1 er juillet 2014, il savait que sa seule source de revenus était la rente AVS qu'il touchait depuis quatre ans et que celle-là était " en principe [...] absolument insaisissable ".
Au vu de ces éléments, force est de constater que le recourant s'est défait, en faveur de sa nouvelle conjointe, de toutes ses ressources, plus particulièrement des avoirs découlant de son deuxième pilier, lesquels étaient destinés à lui permettre de maintenir son niveau de vie antérieur à la retraite (cf. art. 113 al. 2 let. a Cst.) et constituaient des biens relativement insaisissables selon l'<ref-law> (<ref-ruling> consid. 1b; cf. arrêt 5A_338/2019 du 23 septembre 2019 consid. 6.2.1). Il s'est ainsi mis dans la situation de ne disposer plus que d'un bien absolument insaisissable pour assurer son entretien et, plus singulièrement, son obligation alimentaire. En connaissance de cet état de fait, il s'est pourtant engagé, en 2014, à continuer de contribuer à l'entretien de son ex-femme à hauteur de 700 fr. par mois. Un tel comportement était de nature à faire naître des attentes légitimes chez l'intimée quant au paiement de la rente convenue, dont rien n'indique qu'elle ne correspondait alors pas à la capacité contributive du recourant. Contrairement à ce que ce dernier allègue, il n'est par ailleurs pas établi qu'il ne disposerait plus " des moyens financiers suffisants pour honorer ses obligations, du fait notamment que son fils majeur représenterait une charge financière accrue. De fait, l'action en suppression qu'il a initiée en 2016 a été rejetée, motif pris qu'il n'avait établi aucune péjoration de sa situation ni même aucun changement depuis le jugement du 1 er juillet 2014 (arrêt de la Cour d'appel civile du Tribunal cantonal vaudois du 8 juin 2018, consid. 5.3). Au vu de ces circonstances, le fait qu'il se prévale désormais, dans le cadre de l'exécution forcée, de l'insaisissabilité de la rente AVS apparaît manifestement abusif. Le recourant ne saurait utiliser l'<ref-law> pour se libérer du paiement d'une contribution d'entretien qu'il a accepté de verser en toute connaissance de cause et dont il a échoué à démontrer qu'elle aurait dû être supprimée, mais qu'il estimerait indue parce qu'il serait " choquant " que " son épouse actuelle, avec qui il est marié depuis vingt-quatre ans, doive finalement subvenir aux besoins de son ex-épouse, dont il a divorcé il y a de cela vingt-six ans ". A cet égard, il n'est pas inutile de rappeler qu'en cas de remariage du débirentier, le nouveau conjoint est tenu, dans la mesure qui peut être exigée de lui, de l'assister dans l'exécution de ses obligations légales d'entretien envers des tiers (cf. art. 159 al. 3 et 278 al. 2 CC; sur la portée de cette assistance : arrêt 5A_309/2018 du 31 juillet 2018 consid. 5.1).
3.
Le recourant reproche en outre à la Cour des poursuites et faillites de ne pas avoir examiné son argument tiré de la marge d'appréciation dont jouit l'Office dans l'application de l'exception à l'insaisissabilité de la rente AVS. Il est d'avis qu'elle " aurait dû se demander s'il était opportun de déclarer saisissable la rente AVS, puisque c'est là une faculté des autorités ".
On peine à le suivre dans cette critique, dès lors que l'autorité cantonale a précisément examiné si les circonstances du cas d'espèce permettaient de retenir l'existence d'un abus de droit manifeste justifiant une exception au principe de l'insaisissabilité posé à l'<ref-law> et, partant, fait usage de son pouvoir d'appréciation, dont il vient d'être dit qu'il avait été exercé à bon droit.
4.
4.1. Vu ce qui précède, le recours doit être rejeté aux frais du recourant (<ref-law>), qui versera en outre une indemnité de dépens à l'intimée (art. 68 al. 1 et 2 LTF).
4.2. Les deux parties sollicitent le bénéfice de l'assistance judiciaire. Les conditions prévues à l'art. 64 al. 1 et 2 LTF sont remplies en l'espèce. Puisque l'intimée ne supporte pas les frais judiciaires (cf. supra, consid. 4.1), sa demande d'assistance judiciaire est sans objet (<ref-ruling> consid. 5; arrêts 5A_403/2019 du 12 mars 2020 consid. 5.2; 5A_154/2019 du 1 er octobre 2019 consid. 6.2 et la référence) en tant qu'elle porte sur ce point. Tel n'est en revanche pas le cas en tant qu'elle concerne la désignation d'un avocat d'office et l'indemnisation de celui-ci. En effet, bien que le recourant ait été condamné à verser des dépens à l'intimée, il y a lieu de considérer que celle-ci ne sera pas en mesure de les recouvrer, compte tenu de la situation financière du recourant. L'avocate de l'intimée sera dès lors directement indemnisée par la Caisse du Tribunal fédéral (arrêts 5A_403/2019 et 5A_154/2029 précités; cf. ég. <ref-ruling> consid. 3d). Les parties sont rendues attentives au fait qu'elles sont tenues de rembourser ultérieurement la Caisse du Tribunal fédéral si elles sont en mesure de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire du recourant est admise et Me Gilles Miauton lui est désigné comme avocat d'office.
3.
Autant qu'elle n'est pas sans objet, la requête d'assistance judiciaire de l'intimée est admise et Me Muriel Vautier lui est désignée comme avocate d'office.
4.
Les frais judiciaire, arrêtés à 1'500 fr., sont mis à la charge du recourant. Ils sont provisoirement supportés par la Caisse du Tribunal fédéral.
5.
Une indemnité de 2'000 fr., à verser à l'intimée à titre de dépens, est mise à la charge du recourant. La Caisse du Tribunal fédéral indemnise provisoirement le conseil de l'intimée; une indemnité de 1'500 fr. lui est allouée à titre d'honoraires d'avocate d'office.
6.
Une indemnité de 1'500 fr., supportée par la Caisse du Tribunal fédéral, est allouée au conseil du recourant à titre d'honoraires d'avocat d'office.
7.
Le présent arrêt est communiqué aux parties, à l'Office des poursuites du district de Lausanne et à la Cour des poursuites et faillites du Tribunal cantonal du canton de Vaud, en qualité d'Autorité supérieure de surveillance.
Lausanne, le 13 juillet 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Juge présidant : La Greffière :
Escher Jordan