Faits : A. A.A._ a été renvoyé en jugement en tant que coprévenu d'escroquerie par acte d'accusation du 12 avril 2018. En bref, il lui a été reproché, à côté d'autres personnes, d'avoir vendu à B._ et son épouse la maison du couple A._, sise à C._, pour le prix de 2'350'000 fr. le 13 avril 2011. Toujours aux termes de l'acte d'accusation, contrairement à ce qui figurait dans la plaquette de vente et qui avait pu être constaté par les acquéreurs lors des visites précédant la vente, la maison ne disposait, en réalité, que de deux logements, le troisième étant dépourvu de permis d'habiter, ce qui réduisait à 221 m2 sur deux niveaux les 285 m2 de surface habitable annoncés. En outre, la maison présentait des défauts d'étanchéité, d'électricité et de chauffage qui avaient été cachés aux acheteurs. L'absence de ce troisième logement et ces défauts étaient à l'origine d'une moins-value estimée à 200'000 francs. Par jugement du 11 décembre 2018, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré A.A._ et consorts de l'accusation d'escroquerie (I), a donné acte à B._ de ses réserves civiles (II), a mis les frais de la cause à la charge de B._ (III) et a alloué des indemnités de l'art. 429 CPP à tous les coprévenus, sauf A.A._. B. Saisie d'appels par B._ (à l'encontre des acquittements de A.A._, D.A._, E._, F._, G._ et H._), ainsi que A.A._ et F._, la Cour d'appel pénale du Tribunal cantonal vaudois les a rejetés tous les trois, par jugement sur appel du 6 mai 2019. C. A.A._ recourt en matière pénale au Tribunal fédéral contre ce jugement sur appel. Il conclut, avec suite de frais et dépens à charge de l'Etat de Vaud, à l'annulation de la décision querellée dans la mesure où elle lui refuse une indemnité pour ses dépenses et pour tort moral fondée sur les art. 429 et 436 CPP, pour les procédures de première et seconde instances, et demande que lui soit allouée une indemnité pour ses frais de défense arrêtés à 41'885 fr. 75, cette somme devant être mise à la charge de B._ à concurrence de 3176 fr. 25 et de l'Etat de Vaud pour le surplus. Invités à se déterminer sur le recours, la cour cantonale et le Ministère public ont renoncé à s'exprimer par courriers respectifs des 2 et 18 septembre 2019. Par lettre du 18 septembre 2019, B._ a conclu au rejet des prétentions émises par A.A._, en tant que les conclusions de ce dernier étaient prises à son endroit personnellement. Il se référait, notamment, à sa propre écriture de recours dans la procédure 6B_807/2019. La lettre de B._ du 18 septembre 2019 a été transmise au conseil de A.A._ avec l'indication qu'il avait la faculté de s'exprimer sur cet acte et le rappel qu'aucun échange d'écriture n'a été ordonné dans la procédure parallèle 6B_807/2019 (recours de B._). Par lettre du 23 septembre 2019, A.A._ a indiqué par l'intermédiaire de son conseil qu'il renonçait à s'exprimer et persistait dans les conclusions prises à l'appui de son recours.