Faits :
A.
X._ et A._ se sont mariés en 1997 et ont trois enfants. Il vivent séparés depuis la fin de l'année 2010. Par décision d'urgence du 30 novembre 2010, le Président du Tribunal civil de la Sarine les a autorisés à vivre séparés pendant la durée de la procédure de mesures protectrices de l'union conjugale. Le domicile familial a été attribué à A._ et ordre donné au mari, sous commination des peines, de quitter immédiatement la maison en emportant à cette occasion ses effets personnels. Dans la suite, X._ s'est rendu à diverses reprises à l'adresse du domicile familial, ce qui a conduit A._ à déposer plainte pénale contre lui.
B.
Par arrêt du 25 août 2017 la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté l'appel formé par l'intéressé contre un jugement rendu le 10 novembre 2015 par la Juge de police de la Sarine, le reconnaissant coupable de violation de domicile, sans toutefois lui infliger de peine. L'arrêt entrepris se prononce en outre sur les demandes d'indemnités (art. 429 et 433 CPP) présentées par les parties ainsi que les frais de procédure des deux instances.
En bref, la cour cantonale a jugé, en faisant siens les considérants du juge de première instance, que X._ avait pénétré sans droit sur l'immeuble attribué à son épouse - soit en particulier dans le jardin y attenant - en dates des 18 décembre 2010, 15 et 19 février 2011, alors que la plaignante lui avait fait comprendre qu'elle n'était pas d'accord, notamment en appelant la police. Or, selon la décision d'urgence du 30 novembre 2010, qui avait été communiquée au mari, celui-ci avait reçu l'ordre de quitter le domicile familial et avait compris qu'il n'avait le droit d'y retourner qu'avec le consentement de son épouse. Après avoir écarté les justifications avancées par X._, la cour cantonale a souligné que rien ne le légitimait à venir sonner à la porte et fouiller dans la boîte aux lettres le 18 décembre 2010. Il n'était pas nécessaire non plus de pénétrer dans le jardin pour faire des photos, comportement qui n'était au demeurant pas apte à protéger des biens du couple. La cour cantonale a encore relevé, en particulier, qu'alors que X._ avait déclaré avoir compris qu'il ne pouvait retourner au domicile familial qu'avec l'accord de son épouse, il avait admis y être allé le 18 décembre 2010 pour sonner à la porte et regarder dans la boîte aux lettres sans que la plaignante y ait consenti. Il n'avait d'ailleurs pas contesté que, comme celle-ci l'avait indiqué dans sa plainte, il était reparti puis revenu plus tard, quand bien même elle lui avait dit par téléphone qu'il ne devait pas venir. Si le fait de se présenter une première fois à la porte et de sonner pouvait certes se trouver à la limite de la qualification de violation de domicile, il en allait différemment s'agissant de fouiller dans la boîte aux lettres et de revenir plus tard, après que l'intimée lui avait clairement fait comprendre qu'elle s'y opposait. En ce qui concernait les 15 et 19 février 2011, X._ avait reconnu n'avoir pas obtenu préalablement l'autorisation de la plaignante qui était selon lui inatteignable, mais il était néanmoins allé faire des photos dans le jardin et vers la serre, alors que ces parties de l'immeuble n'étaient pas librement accessibles puisqu'elle étaient grillagées. Ce mode de procéder démontrait clairement qu'il s'était rendu sur l'immeuble attribué à son épouse sans se soucier d'avoir son aval, alors qu'il savait devoir l'obtenir. Il avait dès lors accepté la violation de domicile comme conséquence indifférente de ses actes. Dans la suite, la cour cantonale a encore écarté d'autres justifications avancées par X._.
C.
Par acte du 29 septembre 2017, X._ forme un recours en matière pénale contre cet arrêt. Il conclut, avec suite de frais et dépens, à la réforme de la décision cantonale dans le sens de son acquittement du chef de prévention de violation de domicile, une indemnité de 5000 fr. lui étant allouée pour les dépenses occasionnées par la procédure de première instance, une indemnité de 2420 fr. lui étant octroyée au même titre pour la procédure d'appel et aucune indemnité n'étant accordée à A._, frais de procédure d'appel à charge de l'Etat. Invités à présenter des observations sur le recours, la cour cantonale et les intimés y ont renoncé.

Considérant en droit :
1.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Ce grief se confond, par ailleurs, avec celui de violation de la présomption d'innocence en tant que ce dernier porte sur l'appréciation des preuves (<ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 2c p. 37). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3.1 p. 253).
1.1. Invoquant des inexactitudes manifestes, respectivement l'interdiction de l'arbitraire, le recourant relève tout d'abord qu'interrogée le 7 décembre 2011, l'intimée avait indiqué ne pas avoir su qu'il ne pouvait pas entrer dans la maison et qu'elle le laissait faire. Quant aux faits du 18 décembre 2010, dans un memorandum figurant au dossier, elle avait précisé: " Il ne veut pas entrer, il veut seulement ses affaires. J'appelle le 117 et fai[s] tout ce que je peux pour le faire attendre, la police arrive ". Le recourant en déduit qu'il serait arbitraire de retenir qu'il a pénétré dans le domicile contre l'avis de la plaignante. Toujours en lien avec les événements du 18 décembre 2010, il objecte qu'il serait insoutenable de retenir qu'il avait fouillé dans la boîte aux lettres, alors qu'il n'aurait que levé le clapet de celle-ci pour regarder s'il s'y trouvait du courrier. Selon ses propres déclarations, il lui semblait avoir téléphoné à son épouse avant de se rendre au domicile familial puis, une fois sur place, avoir regardé dans la boîte aux lettres si le courrier s'entassait en ouvrant le clapet et être reparti après avoir sonné en vain à la porte.
1.2. Sur ce dernier point, il ressort sans ambiguïté des pièces du dossier auxquelles se réfère le recourant que ses propres déclarations portent exclusivement sur les faits survenus le matin du 18 décembre 2010 cependant que l'intimée a aussi exposé qu'il était revenu l'après-midi vers 15h30, alors qu'elle lui avait précédemment dans l'après-midi, exprimé son refus de le voir. La cour cantonale pouvait en conclure, sans arbitraire, que le recourant n'avait pas contesté spécifiquement cette partie du récit de la plaignante.
En tant que le recourant invoque que l'intimée n'aurait pas su qu'il ne pouvait pas entrer dans le domicile, il suffit de constater que cette déclaration concerne spécifiquement une visite du recourant au domicile familial du 13 décembre 2010, date à laquelle l'intimée a admis avoir donné son consentement à la venue du recourant (dossier cantonal, pièce 3003, lignes 97 à 104). Le recourant ne peut, dès lors, rien déduire en sa faveur de cette déclaration en ce qui concerne la visite du 18 décembre 2010 ou les visites postérieures.
Pour le surplus, en tant que le recourant invoque que, selon le memorandum établi par l'intimée, celle-ci avait constaté qu'il ne " voulait pas entrer " le 18 décembre 2010 et dans la mesure où le recourant conteste avoir " fouillé " la boîte aux lettres, ces points souffrent de demeurer indécis pour les raisons qui suivent.
2.
Le Tribunal fédéral applique d'office le droit fédéral (art. 106 al. 1 LTF).
2.1. Commet une violation de domicile au sens de l'art. 186 CP, celui qui, d'une manière illicite et contre la volonté de l'ayant droit, aura pénétré dans une maison, dans une habitation, dans un local fermé faisant partie d'une maison, dans un espace, cour ou jardin clos et attenant à une maison, ou dans un chantier, ou y sera demeuré au mépris de l'injonction de sortir à lui adressée par un ayant droit. Les espaces, cours ou jardins clos et attenants à une maison sont des surfaces non bâties, mais fermées, par exemple par une clôture, un mur ou une haie, et rattachées à un bâtiment. Techniquement, la clôture n'a pas à être totalement infranchissable. Elle doit cependant permettre de comprendre qu'il ne faut pas pénétrer dans l'espace considéré (DELNON/RÜDY, in Basler Kommentar Strafrecht II, 3e éd., 2013, n° 16 ad art. 186 CP). L'infraction est consommée dès que l'auteur s'introduit dans le domaine clos sans l'autorisation de celui qui a le pouvoir d'en disposer (<ref-ruling> consid. 4a p. 85; <ref-ruling> consid. 5b p. 39). L'auteur doit encore agir de manière illicite. L'illicéité de l'acte implique que l'auteur s'oppose à la volonté de l'ayant droit. Elle fait défaut lorsque ce dernier donne son accord ou si l'auteur est au bénéfice d'un motif justificatif (<ref-ruling> consid. 1 p. 157).
2.2. En l'espèce, les constatations de fait de la décision entreprise ne permettent pas de comprendre dans quel espace clos le recourant serait entré le 18 décembre 2010. Il n'est, tout d'abord, pas contesté que, le matin, le recourant s'est limité à sonner à la porte, puis à regarder si la boîte aux lettres contenait du courrier. La décision entreprise ne constate pas non plus que, de retour l'après-midi, le recourant serait physiquement entré dans la maison familiale ou des locaux. On peut se limiter à souligner que selon les déclarations de l'intimée figurant au dossier, le recourant ne voulait précisément pas entrer à ce moment-là (dossier cantonal, pièce 2104, ad 18.12.10). Par ailleurs, l'arrêt entrepris ne constate pas que la boîte aux lettres ou la sonnette de la maison ne seraient accessibles qu'après avoir pénétré dans une cour ou un jardin clos. Il ressort, au contraire des photos figurant au dossier (dossier cantonal, pièces 2110, 10048 et 10075, notamment), que la cour de la maison n'est pas fermée mais uniquement délimitée au sol, par son revêtement, du chemin qui y conduit, la boîte aux lettres se trouvant en bordure de cette cour, à l'extérieur du grillage délimitant le jardin. Il y a lieu de compléter d'office les constatations de fait de la décision entreprise sur ce point (art. 105 al. 2 LTF). Une boîte aux lettres extérieure ne constituant, par elle-même, ni une maison, ni une habitation, ni un local ou encore un espace au sens de l'art. 186 CP, dont l'énumération est exhaustive, aucun des comportements reprochés au recourant le 18 décembre 2010 ne répond aux conditions de l'art. 186 CP, ce qui aurait dû conduire à l'acquittement sur ce point, sans qu'il soit nécessaire d'examiner plus avant si le recourant a simplement ouvert la boîte aux lettres ou à procédé à une " fouille ".
3.
En ce qui concerne les 15 et 19 février 2011, le recourant soutient qu'il n'aurait su n'avoir pas le droit d'entrer dans le jardin qu'en même temps qu'il avait eu connaissance de la plainte du 19 février 2011. Il s'écarte, sur ce point, de manière inadmissible de l'état de fait de la décision entreprise, qui ne constate rien de tel. On renvoie, par ailleurs, à ce qui a été exposé ci-dessus, en ce qui concerne les autres faits dont se prévaut le recourant. Pour le surplus, la décision entreprise constate que le recourant est entré dans le jardin, qui est clos, qu'il y est entré sans l'aval de son épouse, qu'il devait obtenir préalablement, ce qu'il savait ensuite de la décision du 30 novembre 2010. Enfin, la cour cantonale a écarté toutes les justifications avancées par le recourant, de sorte que son comportement était illicite. Il s'ensuit que la cour cantonale n'a pas violé le droit fédéral en appliquant l'art. 186 CP dans ces deux cas.
4.
Il résulte de ce qui précède que le recours doit être admis partiellement en ce sens que le recourant doit être acquitté du chef d'accusation de violation de domicile en relation avec les faits du 18 décembre 2010. Le recours doit être rejeté pour le surplus, dans la mesure où il est recevable. Il y a lieu de renvoyer la cause à la cour cantonale afin qu'elle réexamine, au vu de cette issue, les questions relatives aux indemnités prétendues par les parties, respectivement celles des frais. Le recourant obtient partiellement gain de cause. Il supporte des frais réduits (art. 65 al. 2 et 66 al. 1 LTF). Il peut, de même, prétendre des dépens réduits (art. 68 al. 1 LTF), qu'il convient de mettre à la charge du canton de Fribourg. La demande d'assistance judiciaire est sans objet dans cette mesure (art. 64 al. 2 LTF). Elle doit être rejetée pour le surplus faute de chances de succès (art. 64 al. 1 LTF). Il n'y a pas lieu de mettre une part des frais ou des dépens à la charge de l'intimée, qui a renoncé à procéder. Le canton de Fribourg ne supporte pas de frais (art. 66 al. 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis partiellement. X._ est acquitté du chef d'accusation de violation de domicile en relation avec les faits survenus le 18 décembre 2010. Le recours est rejeté pour le surplus dans la mesure où il est recevable. La cause est renvoyée à la cour cantonale afin qu'elle statue à nouveau sur les questions de frais et d'indemnités de parties.
2.
Une part des frais judiciaires, arrêtée à 1500 fr. est mise à la charge de X._. Le solde demeure à la charge de l'Etat.
3.
Le canton de Fribourg versera la somme de 1500 fr. en main du conseil de X._ à titre de dépens réduits pour la procédure fédérale.
4.
La demande d'assistance judiciaire est rejetée autant qu'elle a encore un objet.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 20 février 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Vallat