Faits :
A.
A._ était propriétaire d'un chat, qu'elle a remis à X._ en décembre 2013 alors qu'elle partait pour cinq semaines en vacances. A son retour elle ne l'a pas repris et l'animal est resté jusqu'à la nuit du 2 au 3 octobre 2014 chez X._, nuit durant laquelle A._, alors en visite chez ce dernier, s'en est emparé.
B.
Par jugement du 21 juin 2016, le Tribunal de police de l'arrondissement de l'Est vaudois a libéré A._ des chefs d'accusation de vol et de dénonciation calomnieuse. Il l'a condamnée pour vol d'importance mineure à une amende de 2'000 fr., convertible en 20 jours de peine privative de liberté de substitution en cas de non-paiement fautif. Cette autorité a levé le séquestre ordonné le 19 décembre 2014 sur le chat en mains de A._ et l'a condamnée à le restituer à X._, partie plaignante, dans les 48 h dès jugement définitif et exécutoire. A._ a été astreinte à verser à X._ 500 fr. à titre d'indemnité pour tort moral et 12'000 fr. pour ses frais de défense. Elle a également été condamnée à assumer les frais de justice arrêtés à 3'225 francs.
C.
Par jugement du 2 novembre 2016, le Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a partiellement admis l'appel formé par A._ contre le jugement précité, l'a acquittée de tous les chefs d'accusation pesant contre elle et a levé le séquestre sur l'animal en sa faveur. Il a accordé à A._, à charge de l'Etat, une indemnité pour l'exercice raisonnable de ses droits de procédure, à hauteur de 2'754 fr. en première instance et de 1'533 fr. 60 en seconde instance. Il a pour le surplus mis les frais de la cause de première instance à charge de l'Etat, et de seconde instance à charge de X._ pour 3⁄4, le solde étant laissé à la charge de l'Etat.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 2 novembre 2016. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que l'appel est rejeté et le jugement du 21 juin 2016 confirmé, subsidiairement à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert la mise en oeuvre de mesures provisionnelles.
E.
Par ordonnance du 23 février 2017, le Président de la Cour de droit pénal du Tribunal fédéral a interprété les mesures provisionnelles requises comme une demande d'effet suspensif et y a agréé avec pour effet notamment le maintien du séquestre prononcé le 19 décembre 2014 sur l'animal.
F.
Invités à se déterminer sur le recours, la Cour d'appel pénale et le ministère public y ont renoncé. L'intimée a déposé une réponse, concluant, avec suite de frais et dépens, au rejet du recours. Le recourant a ensuite formulé des observations, qui ont été communiquées aux autorités précitées et à l'intimée.

Considérant en droit :
1.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel qui reverrait librement les faits. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.3 p. 244). Pour que la décision soit annulée pour arbitraire, il faut qu'elle se révèle insoutenable, non seulement dans ses motifs mais aussi dans son résultat (<ref-ruling> consid. 6.1 p. 324). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 1.3.1 p. 253).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.4 p. 368).
1.2. Le recourant expose tant dans son " Bref rappel des faits ", en p. 5 à 10 de son recours, qu'à l'appui de son raisonnement juridique de nombreux faits non constatés par le jugement attaqué, sans invoquer et démontrer l'arbitraire de l'omission de ces faits, conformément aux exigences posées par l'<ref-law>. Ceux-ci sont irrecevables et avec eux les griefs que le recourant en tire.
1.3. Les faits non constatés par l'autorité précédente que l'intimée allègue dans sa réponse sont également irrecevables.
2.
Le recourant soutient que l'intimée lui aurait donné le chat, respectivement aurait promis de le lui donner, ce que l'autorité précédente aurait nié à tort. A titre subsidiaire, il invoque en sa faveur la prescription acquisitive prévue par l'<ref-law>. En reprenant l'animal qui n'était plus à elle dans la nuit du 2 au 3 octobre 2014, l'intimée se serait donc rendue coupable de vol.
2.1. L'autorité précédente a jugé que lorsque l'intimée avait confié son chat au recourant durant ses cinq semaines de vacances en décembre 2013, il n'avait jamais été question de procéder à une donation, mais seulement de laisser l'animal en pension pendant les quelques semaines d'absence de sa propriétaire. Ensuite, le 20 janvier 2014, le recourant avait sollicité la donation du chat en sa faveur. L'autorité précédente a retenu que les parties auraient alors évoqué la possibilité de conclure un contrat de donation en observant une forme écrite que la loi ne leur imposait pas. Aucun contrat n'avait toutefois jamais été signé par l'intimée. Il n'y avait pas eu de promesse de donner en faveur du recourant. Ce dernier n'avait en outre pas prouvé que l'animal lui aurait été donné par l'intimée après le 22 janvier 2014. L'autorité précédente a constaté à cet égard encore que l'intimée n'avait jamais manifesté d' animus donandiet qu'elle avait au contraire souhaité bénéficier du régime de prise en charge offert par le recourant tout en conservant la propriété de l'animal. Aucune donation n'était ainsi intervenue en faveur du recourant et l'intimée avait constamment conservé la propriété du chat. Le fait pour elle de le reprendre ne pouvait par conséquent être qualifié de vol d'importance mineure au sens des art. 139 et 172ter al. 1 CP. L'autorité précédente a également constaté que le recourant s'était considéré propriétaire du chat et avait agi en étant persuadé de son bon droit.
2.2. Aux termes de l'<ref-law>, le contrat est parfait lorsque les parties ont, réciproquement et d'une manière concordante, manifesté leur volonté.
Pour apprécier la forme et les clauses d'un contrat, il y a lieu de rechercher la réelle et commune intention des parties, sans s'arrêter aux expressions ou dénominations inexactes dont elles ont pu se servir, soit par erreur, soit pour déguiser la nature véritable de la convention (<ref-law>). Constituent des indices en ce sens non seulement la teneur des déclarations de volonté, mais encore le contexte général, soit toutes les circonstances permettant de découvrir la volonté des parties, qu'il s'agisse des déclarations antérieures à la conclusion du contrat, des projets de contrat, de la correspondance échangée, voire de l'attitude des parties après la conclusion du contrat. Cette interprétation subjective repose sur l'appréciation des preuves. Si elle s'avère concluante, le résultat qui en est tiré, c'est-à-dire la constatation d'une commune et réelle intention des parties, relève du domaine des faits et lie, partant, le Tribunal fédéral. Dans le cas contraire, le juge devra rechercher, en appliquant le principe de la confiance, le sens que les parties pouvaient et devaient donner, selon les règles de la bonne foi, à leurs manifestations de volonté réciproques en fonction de l'ensemble des circonstances. Cette interprétation dite objective, qui relève du droit, s'effectuera non seulement d'après le texte et le contexte des déclarations, mais également sur le vu des circonstances qui les ont précédées et accompagnées, à l'exclusion des circonstances postérieures (<ref-ruling> consid. 5.2.1 p. 253 et les arrêts cités).
2.3. En l'espèce, l'autorité précédente a constaté, sans que l'arbitraire de son appréciation des preuves ou de ses constatations de fait ne soit démontré, que l'intimée n'avait jamais eu l'intention de donner son animal. Elle a exclu, selon l'interprétation subjective, la volonté de donner entre les parties. L'interprétation des évènements selon le principe de la confiance ne conduit pas à une autre conclusion: les faits constatés par l'autorité précédente ne permettent pas de se convaincre qu'en laissant son chat au recourant, lors de son départ ou après son retour, l'intimée aurait voulu par là le donner au recourant, quoi que ce dernier ait pu croire. S'agissant de la convention de donation suggérée par le recourant le 20 janvier 2014, les faits ne permettent pas de retenir qu'on devrait considérer qu'elle aurait été acceptée par l'intimée. Au vu ce qui précède, l'appréciation de l'autorité précédente qu'aucun contrat de donation n'était venu à chef entre les parties s'agissant de l'animal ne prête pas flanc à la critique.
2.4. Le recourant invoque à titre subsidiaire avoir acquis la propriété sur le chat par prescription acquisitive.
2.4.1. Aux termes de l'<ref-law>, celui qui de bonne foi, à titre de propriétaire, paisiblement et sans interruption, a possédé pendant cinq ans la chose mobilière d'autrui en devient propriétaire par prescription. Aux termes de l'<ref-law>, lorsqu'il s'agit d'animaux qui vivent en milieu domestique et ne sont pas gardés dans un but patrimonial ou de gain, le délai est de deux mois.
L'art. 728 al. 1 et 1bis CC s'applique notamment lorsque le transfert de propriété par tradition n'est pas valable, car le titre d'acquisition ne l'est pas (PAUL-HENRI STEINAUER, Les droits réels, tome II, 4e éd. 2012, n° 2108). Tel est le cas lorsque l'acte générateur d'obligations n'est pas valable parce que le contrat n'est pas venu à chef à défaut d'accord (<ref-law>) ou encore parce qu'il ne revêt pas la forme requise (DELPHINE PANNATIER KESSLER, in Commentaire romand, Code civil II, 2016, n° 6 ad <ref-law>; également IVO SCHWANDER, Basler Kommentar, Zivilgesetzbuch II, 5e éd. 2015, ad <ref-law>, n° 2). L'acquéreur doit toutefois avoir la volonté de posséder à titre de propriétaire. Peu importe que la possession soit simple ou originaire. En revanche un possesseur dérivé ne peut prétendre acquérir la propriété par prescription (ATF 48 II 38 consid. 2c p. 45, traduit au JdT 1922 I p. 354 ss; arrêt 5A_279/2008 du 16 septembre 2008 consid. 7.1; SCHWANDER, op. cit., ad <ref-law>, n° 4).
2.4.2. Au vu de ce qui précède, il convenait de déterminer, après avoir exclu l'existence d'un contrat de donation entre les parties, si un autre accord était venu à chef entre elles concernant l'animal, par exemple un contrat de prêt ou de dépôt. Si tel était le cas et que le recourant ne pouvait en retirer qu'une possession dérivée sur le chat, une acquisition par lui par prescription acquisitive était exclue. Un vol de l'animal par l'intimée restée propriétaire l'était également. Dans le cas contraire, en l'absence d'accord valable entre les parties, l'acquisition de la propriété par le recourant par prescription acquisitive devait être examinée. Si elle était admise, l'intimée pouvait être considérée comme s'étant rendue coupable de vol en reprenant l'animal en octobre 2014. L'autorité précédente ne s'est toutefois penchée sur aucune de ces questions. Les faits constatés dans le jugement entrepris ne permettent pas de les trancher à satisfaction de droit. Dans ces circonstances, il se justifie d'admettre le recours, d'annuler le jugement entrepris et de renvoyer la cause à l'autorité précédente pour nouvelle décision. Ce qui précède rend sans objet les autres griefs soulevés par le recourant, de même que par l'intimée.
3.
Le recours doit par conséquent être admis, le jugement attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Des frais judiciaires réduits seront mis à la charge de l'intimée, le canton de Vaud n'ayant pas à en supporter (art. 66 al. 1 et 4 LTF). Le recourant peut prétendre à une indemnité de dépens à la charge du canton de Vaud et de l'intimée à parts égales et solidairement entre eux (art. 68 al. 1 et 2 LTF et <ref-law> par renvoi de l'<ref-law>). L'intimée ne saurait obtenir des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision.
2.
Des frais judiciaires réduits, arrêtés à 1'500 fr., sont mis à la charge de l'intimée.
3.
Une indemnité de 3000 fr., à verser au recourant à titre de dépens, est mise à la charge du canton de Vaud et de l'intimée à parts égales et solidairement entre eux.
4.
Le présent arrêt est communiqué aux parties et au Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 février 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod