Faits :
A.
A.A._ a été renvoyé en jugement en tant que coprévenu d'escroquerie par acte d'accusation du 12 avril 2018. En bref, il lui a été reproché, à côté d'autres personnes, d'avoir vendu à B._ et son épouse la maison du couple A._, sise à C._, pour le prix de 2'350'000 fr. le 13 avril 2011. Toujours aux termes de l'acte d'accusation, contrairement à ce qui figurait dans la plaquette de vente et qui avait pu être constaté par les acquéreurs lors des visites précédant la vente, la maison ne disposait, en réalité, que de deux logements, le troisième étant dépourvu de permis d'habiter, ce qui réduisait à 221 m2 sur deux niveaux les 285 m2 de surface habitable annoncés. En outre, la maison présentait des défauts d'étanchéité, d'électricité et de chauffage qui avaient été cachés aux acheteurs. L'absence de ce troisième logement et ces défauts étaient à l'origine d'une moins-value estimée à 200'000 francs.
Par jugement du 11 décembre 2018, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré A.A._ et consorts de l'accusation d'escroquerie (I), a donné acte à B._ de ses réserves civiles (II), a mis les frais de la cause à la charge de B._ (III) et a alloué des indemnités de l'<ref-law> à tous les coprévenus, sauf A.A._.
B.
Saisie d'appels par B._ (à l'encontre des acquittements de A.A._, D.A._, E._, F._, G._ et H._), ainsi que A.A._ et F._, la Cour d'appel pénale du Tribunal cantonal vaudois les a rejetés tous les trois, par jugement sur appel du 6 mai 2019.
C.
A.A._ recourt en matière pénale au Tribunal fédéral contre ce jugement sur appel. Il conclut, avec suite de frais et dépens à charge de l'Etat de Vaud, à l'annulation de la décision querellée dans la mesure où elle lui refuse une indemnité pour ses dépenses et pour tort moral fondée sur les art. 429 et 436 CPP, pour les procédures de première et seconde instances, et demande que lui soit allouée une indemnité pour ses frais de défense arrêtés à 41'885 fr. 75, cette somme devant être mise à la charge de B._ à concurrence de 3176 fr. 25 et de l'Etat de Vaud pour le surplus.
Invités à se déterminer sur le recours, la cour cantonale et le Ministère public ont renoncé à s'exprimer par courriers respectifs des 2 et 18 septembre 2019. Par lettre du 18 septembre 2019, B._ a conclu au rejet des prétentions émises par A.A._, en tant que les conclusions de ce dernier étaient prises à son endroit personnellement. Il se référait, notamment, à sa propre écriture de recours dans la procédure 6B_807/2019. La lettre de B._ du 18 septembre 2019 a été transmise au conseil de A.A._ avec l'indication qu'il avait la faculté de s'exprimer sur cet acte et le rappel qu'aucun échange d'écriture n'a été ordonné dans la procédure parallèle 6B_807/2019 (recours de B._). Par lettre du 23 septembre 2019, A.A._ a indiqué par l'intermédiaire de son conseil qu'il renonçait à s'exprimer et persistait dans les conclusions prises à l'appui de son recours.

Considérant en droit :
1.
Le recourant demande que lui soit allouée une indemnité pour ses frais de défense arrêtés à 41'885 fr. 75, cette somme devant être mise à la charge de B._ à concurrence de 3176 fr. 25 et de l'Etat de Vaud pour le surplus. Il convient, à titre préalable, de se demander si cette conclusion, en tant qu'elle est dirigée contre B._, est recevable au regard de l'<ref-law>.
1.1. Conformément à cette disposition, toute conclusion nouvelle est irrecevable. Ce principe s'applique dans tous les domaines du droit (y compris ceux dominés par la maxime d'office), en matière pénale en particulier. Les conclusions prises en instance fédérale ne doivent, alors, pas modifier l'objet du litige tel qu'il est délimité par la décision de dernière instance cantonale, sauf à le restreindre (BERNARD CORBOZ, in Commentaire de la LTF, 2e éd. 2014, no 37 ad <ref-law>).
1.2. Le recourant indique, dans son recours, que la somme de 3176 fr. 25 correspond aux honoraires de son conseil afférents aux opérations réalisées pour résister à l'appel de B._. Il s'agit donc de prétentions du prévenu acquitté (<ref-law>) pour sa défense au stade de la procédure de recours (<ref-law>). Selon la jurisprudence, de telles prétentions doivent, à l'instar de celles visées par l'<ref-law>, faire l'objet d'un examen d'office, l'autorité pénale pouvant, au besoin, enjoindre au prévenu acquitté de les chiffrer et de les justifier (<ref-law>; arrêt 6B_928/2018 du 26 mars 2019 consid. 2). Le prévenu acquitté, à qui incombe le devoir de collaborer à l'instruction de ces prétentions, n'en supporte pas moins le fardeau de la preuve (WEHRENBERG/FRANK, in Basler Kommentar Strafprozessordnung, 2e éd. 2014, no 31a ad <ref-law>).
Il ne ressort ni de la décision querellée ni des écritures adressées à la cour cantonale figurant au dossier que le recourant aurait formulé expressément des conclusions en indemnisation à l'encontre de l'intimé B._. Le recourant allègue le contraire en se référant à la page 3 de l'arrêt entrepris. Mais ce passage du procès-verbal de l'audience d'appel indique simplement que le conseil du recourant a produit des conclusions chiffrées pour son client. Or, les conclusions en indemnisation déposées devant la cour cantonale à l'audience du 6 mai 2019, portaient sur la somme de 41'885 fr. 75 à titre d'indemnité " au sens de l'<ref-law> ". Cela suggère qu'elles étaient plutôt dirigées contre l'Etat. On doit cependant aussi considérer que ces conclusions ont été formulées " vu le jugement du Tribunal correctionnel du 11 décembre 2018; vu l'appel de B._; vu l'appel de A.A._ [et] vu le rapport d'activité du Conseil de A.A._ en annexe " (dossier cantonal, p. 126). Il s'ensuit que le recourant a invoqué, devant la cour cantonale déjà, sa situation d'intimé à l'appel de B._, même s'il ne s'est pas référé expressément à l'<ref-law>. Il ressort également du décompte d'activité produit devant la cour cantonale que le recourant alléguait des activités en relation avec sa position d'intimé à l'appel de B._ (dossier cantonal, p. 126; prise de connaissance de la déclaration d'appel; examen du mémoire d'appel; préparation de l'audience, etc.). Par ailleurs, la cour cantonale, après avoir noté que tous les appels étaient rejetés (v. supra consid. B), a jugé que " vu le sort de leurs appels, A.A._, F._ et B._ ne peuvent prétendre à l'allocation d'indemnités ", cependant qu'elle a alloué des indemnités pour les dépenses occasionnées par la procédure d'appel à D.A._ et E._ (arrêt entrepris, consid. 6 p. 28), lesquels n'étaient qu'intimés à l'appel rejeté de B._. Il s'ensuit que même si le dispositif de la décision entreprise est muet sur la question des prétentions pour les dépenses de procédure en appel de A.A._, les considérants de cette décision permettent de comprendre que la cour cantonale, qui était tenue d'examiner cette question d'office, n'a pas simplement ignoré le droit des parties intimées à une indemnité en raison du rejet de l'appel de B._, mais a jugé que A.A._ ne pouvait prétendre à une telle indemnité en raison du rejet de tous les appels présentés. Dans cette mesure, et indépendamment de la pertinence de cette motivation, la conclusion prise devant le Tribunal fédéral à l'endroit de B._ n'a pas pour effet d'étendre l'objet du litige et n'est donc pas nouvelle au sens de l'<ref-law>.
2.
Conformément à l'<ref-law>, lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci.
La condamnation d'un prévenu acquitté à supporter tout ou partie des frais doit respecter la présomption d'innocence, consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec les frais imputés, entre en ligne de compte. Pour déterminer si le comportement en cause est propre à justifier l'imputation des frais, le juge peut prendre en considération toute norme de comportement écrite ou non écrite résultant de l'ordre juridique suisse pris dans son ensemble, dans le sens d'une application par analogie des principes découlant de l'<ref-law>. Le fait reproché doit constituer une violation claire de la norme de comportement. Une condamnation aux frais ne peut se justifier que si, en raison du comportement illicite du prévenu, l'autorité était légitimement en droit d'ouvrir une enquête. Elle est en tout cas exclue lorsque l'autorité est intervenue par excès de zèle, ensuite d'une mauvaise analyse de la situation ou par précipitation. La mise des frais à la charge du prévenu en cas d'acquittement ou de classement de la procédure doit en effet rester l'exception (<ref-ruling> consid. 2.2 p. 204 s. et les références citées).
Selon l'<ref-law>, l'autorité pénale peut réduire ou refuser l'indemnité ou la réparation du tort moral prévues par l'<ref-law>, lorsque le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci. L'<ref-law> est le pendant de l'<ref-law> en matière de frais. La question de l'indemnisation (art. 429 à 434 CPP) doit être traitée après celle des frais (arrêts 6B_565/2019 du 12 juin 2019 consid. 5.1; 6B_373/2019 du 4 juin 2019 consid. 1.2). Dans cette mesure, la décision sur les frais préjuge de la question de l'indemnisation. En d'autres termes, si le prévenu supporte les frais en application de l'art. 426 al. 1 ou 2 CPP, une indemnité est en règle générale exclue, alors que le prévenu y a, en principe, droit si l'Etat supporte les frais de la procédure pénale (<ref-ruling> consid. 1.8.2 p. 211; <ref-ruling> consid. 2.4.2 p. 357).
2.1. En l'espèce, la cour cantonale, approuvant le raisonnement de l'autorité de première instance, a considéré que A.A._ avait commis un acte illicite en louant l'un des logements de l'immeuble vendu sans demander une autorisation, alors qu'il savait devoir le faire, ce qui justifiait de lui refuser une indemnité de l'<ref-law>. La cour cantonale a souligné, à ce propos, que c'est cette situation qui avait conduit dans un premier temps à l'ouverture de l'enquête pénale, puis à l'annulation de l'ordonnance de classement par la Chambre des recours pénale, qui avait considéré qu'il existait suffisamment d'éléments pour impliquer A.A._ et que l'on ne pouvait exclure que B._ avait effectivement été trompé sur le caractère habitable d'un troisième logement, le prénommé n'ayant eu aucune raison de se méfier après avoir constaté que le propriétaire lui-même louait ce logement à un gendarme. Le fait que les premiers juges avaient retenu, en définitive et au bénéfice du doute, que A.A._ avait indiqué à B._ qu'il y avait un problème avec le permis d'habiter n'y changeait rien, car il fallait admettre que le prévenu avait provoqué l'ouverture de la procédure pénale au sens de l'<ref-law>, en raison de sa violation de l'art. 128 LATC/VD. Quant au tort moral, il devait être refusé en toute hypothèse, aucune atteinte particulièrement grave à la personnalité n'étant réalisée (jugement sur appel, consid. 4.3 p. 26).
2.2. Le recourant mentionne la question de la réparation du tort moral dans ses conclusions formelles (sans toutefois chiffrer une éventuelle prétention), mais ne discute pas spécifiquement le refus de toute indemnité à ce titre; il ne s'en prend qu'au refus de l'indemniser pour ses frais de défense à concurrence de 41'885 fr. 75. En l'absence de toute motivation (art. 42 al. 1 et 2 LTF) le recours est, en tout cas, irrecevable sur le premier point. Sur le second, le recourant relève que non seulement les frais de la procédure n'ont pas été mis à sa charge mais que l'autorité de première instance les a intégralement mis à celle de la partie plaignante. Or, la cour cantonale, pourtant saisie de cette question par la partie plaignante, avait rejeté l'appel de cette dernière. Le recourant en conclut que la cour cantonale pouvait modifier cette répartition des frais et que, en maintenant l'entier des frais à la charge de la partie plaignante, elle aurait retenu tout au moins implicitement que celle-ci avait elle-même provoqué la procédure par son comportement, ce qui exclurait que le même reproche puisse lui être adressé pour justifier le refus d'indemniser ses frais de défense.
Le recourant objecte aussi que les conditions de l'art. 426 al. 2, respectivement de l'<ref-law> ne seraient pas réunies. Il relève que deux complexes de fait lui ont été reprochés, soit d'avoir dissimulé dolosivement l'absence de permis d'habiter d'un logement, d'une part, et des défauts techniques, de l'autre. Or, la décision cantonale ne disait pas en quoi le recourant aurait provoqué l'ouverture de la procédure s'agissant des défauts techniques. La cour cantonale n'avait pas non plus examiné à satisfaction le lien de causalité entre la faute reprochée (la location d'un espace dépourvu de permis d'habiter) et la conduite d'une procédure criminelle jusqu'en cour d'appel durant plus de six ans. De surcroît, un éventuel lien de causalité aurait été interrompu par le comportement de la partie plaignante, qui avait elle-même menti. Et un tel lien se serait de toute manière rompu en cours de procédure tant il était reconnaissable d'emblée que la procédure ne pouvait aboutir qu'à l'acquittement de tous les accusés. En définitive, la procédure et sa durée auraient été imputables à un excès de zèle de l'autorité, le ministère public en particulier. Le recourant souligne, dans ce contexte, que les autorités judiciaires cantonales avaient indiqué peiner à croire que quiconque pouvait imaginer qu'un acheteur pourrait se prétendre escroqué en pareille circonstance. De surcroît, le ministère public avait dressé un acte d'accusation mais n'avait pas soutenu cette dernière.
2.3. L'autorité dispose, en matière de répartition des frais et d'indemnisation du prévenu acquitté, d'un large pouvoir d'appréciation dont le Tribunal fédéral ne contrôle l'exercice qu'avec une certaine retenue. Il n'intervient qu'en cas d'abus (arrêts 6B_343/2018 du 25 avril 2019 consid. 2.3; 6B_925/2018 du 7 mars 2019 consid. 1.3; 6B_290/2018 du 19 février 2019 consid. 3.1). Par ailleurs, si la question de l'allocation d'une indemnité suit, en principe, le sort de celle des frais, la jurisprudence n'exclut pas qu'une solution différente soit retenue à titre exceptionnel. Cela suppose toutefois que la motivation de la décision permette de comprendre en quoi la situation était exceptionnelle et justifiait que l'on s'écartât de la règle (<ref-ruling> consid. 2.4.2 p. 357).
En l'espèce, il est tout d'abord constant que l'intégralité des frais de la procédure pénale a été mise à la charge de la partie plaignante. En l'absence de recours en matière pénale de cette dernière, ce point n'est pas litigieux devant la cour de céans et il n'y a pas lieu d'examiner plus avant comment les autorités cantonales ont appliqué l'<ref-law>. Cela étant rappelé, la cour cantonale (qui était saisie par la partie plaignante d'un appel visant toutes les parties du jugement de première instance et disposait d'un plein pouvoir d'examen sur tous ces points [<ref-law>]) ayant rejeté cet appel, mais n'ayant pas formulé de motivation spécifique sur cette question, il faut admettre qu'elle a considéré, après avoir discuté l'argumentation de la partie plaignante sur la culpabilité des prévenus, n'avoir pas de raison de s'écarter de la solution adoptée par l'autorité de première instance consistant à mettre l'intégralité des frais à la charge de la partie plaignante. Or, le juge de première instance a justifié sa décision en expliquant que la partie plaignante, pourtant rompue aux affaires, avait agi avec une absence quasi totale de vérification, aucun lien de confiance particulier de nature à l'en dissuader n'ayant jamais existé. On se trouvait dans le cas de figure où une plainte avait été déposée pour préserver des intérêts civils et pour faire accroire à l'existence d'une tromperie et, à plus forte raison, d'une astuce dont la procédure n'avait jamais démontré qu'elles avaient été envisagées par les prévenus. On ne voyait donc pas vraiment pour quelle raison la partie plaignante n'aurait pas dû supporter les coûts d'une procédure qu'une certaine forme d'aveuglement et d'opiniâtreté avait engendrée. Elle avait encore pris des conclusions civiles pour des défauts, pour lesquels le droit pénal n'était généralement pas d'un grand secours (jugement de première instance, consid. 7 p. 30). On comprend ainsi qu'aux yeux des autorités cantonales, il a été reproché à B._ d'avoir agi au pénal alors qu'il portait lui-même la responsabilité du déroulement des faits sur le plan civil, en d'autres termes d'avoir causé l'ouverture d'une procédure qui n'avait pas lieu d'être.
Cela étant, en refusant toute indemnité au recourant au motif que c'est son propre comportement, soit la location d'un logement sans permis d'habiter, qui avait été la cause de l'ouverture de l'action pénale, la cour cantonale a adopté une motivation en contradiction avec celle qui fonde la décision sur les frais. Même en tenant compte du large pouvoir d'appréciation dont dispose l'autorité qui statue sur les frais et les indemnités (v. supra consid. 1.3), une telle motivation n'est pas susceptible de démontrer l'existence de circonstances exceptionnelles justifiant une issue distincte sur ces deux questions.
Il résulte de ce qui précède que la décision querellée doit être annulée sur ce point et la cause renvoyée à la cour cantonale afin qu'elle statue à nouveau sur cette question, puis qu'elle se prononce, cas échéant, sur l'application de l'<ref-law>.
3.
Le recourant conteste encore le refus de tous dépens pour la procédure d'appel. Il objecte que l'appel de la partie plaignante a été rejeté.
Vu l'issue de la procédure, il est prématuré d'examiner ce point. En renvoyant à ce qui a été exposé ci-dessus (v. supra consid. 1.) il n'en convient pas moins d'attirer l'attention de la cour cantonale sur le fait que, dans la mesure où l'appel de B._ a été entièrement rejeté, y compris sur la question de la culpabilité de A.A._, on ne perçoit pas concrètement quels motifs ont pu conduire à refuser toute indemnité à A.A._ pour sa défense en procédure d'appel, en tant qu'intimé à l'appel de B._.
4.
Le recourant obtient gain de cause sur la question principale de l'indemnité pour ses frais de défense. Même si le recours est déclaré irrecevable sur celle d'une éventuelle indemnité pour tort moral, pour laquelle les conclusions ne sont pas motivées, il n'y a pas lieu de lui faire supporter des frais (art. 65 al. 2 et 66 al. 1 LTF). Le recourant peut, parallèlement, prétendre de pleins dépens, qu'il convient de mettre intégralement à la charge du canton de Vaud (<ref-law>), lequel ne supporte, toutefois, pas de frais non plus (<ref-law>). B._ a conclu au rejet des prétentions élevées à son égard. Il succombe sur ce point et ne peut, partant, prétendre des dépens (<ref-law>). Eu égard à la part minime représentée par les conclusions prises envers lui par rapport au total litigieux, il sied de renoncer à mettre une part des frais à sa charge (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis partiellement. Le jugement sur appel entrepris est annulé en tant qu'il refuse au recourant toute indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. La cause est renvoyée à la cour cantonale afin qu'elle statue à nouveau sur ce point, y compris en ce qui concerne la procédure d'appel (et qu'elle précise, cas échéant, qui est débiteur de cette indemnité). Elle statuera également à nouveau sur les frais de la procédure d'appel. Le recours est irrecevable pour le surplus.
2.
Il est statué sans frais.
3.
Le canton de Vaud versera à A.A._ la somme de 3000 fr. à titre de dépens pour la procédure fédérale.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 9 octobre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Vallat