Faits :
A.
B._ exploite un garage d'automobiles. En date du 18 juillet 2018, il était propriétaire d'un véhicule de marque C._. Ce jour-là, D._ a emporté le véhicule pour A._, commerçant en achat et vente de véhicules automobiles. Il l'a ensuite remis à A._, accompagné d'une seule clef et d'une photographie du permis de circulation du véhicule portant la mention " annulé ". A._ a placé le véhicule sur son site d'exposition. Le 7 septembre 2018, après avoir tenté en vain d'obtenir de D._ la restitution du véhicule, B._ est venu le récupérer sur le site de A._.
B.
Par ordonnance du 10 décembre 2018, le Ministère public neuchâtelois a refusé d'entrer en matière sur la plainte formée par A._ contre B._.
C.
Par arrêt du 14 mars 2019, l'Autorité de recours en matière pénale du Tribunal cantonal de la République et canton de Neuchâtel a rejeté le recours formé par A._ contre cette ordonnance.
D.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation de cette décision et au renvoi de la cause au ministère public pour qu'une instruction soit ouverte.
Invités à se déterminer sur le recours, le ministère public a conclu à son rejet, l'autorité précédente n'a pas répondu et B._, après avoir demandé un délai pour ce faire, n'a pas déposé de déterminations.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont adressés.
1.1. Conformément à l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4). La notion d'influence du jugement pénal sur les prétentions civiles est conçue strictement. La partie plaignante ne peut pas s'opposer à une décision parce qu'elle ne facilite pas son action sur le plan civil. Il faut que la décision attaquée ait pour conséquence qu'elle rencontrera plus de difficultés à faire valoir ses prétentions civiles (arrêts 6B_337/2019 du 21 mai 2019 consid. 1.1; 6B_405/2018 du 7 août 2018 consid. 1.1 et les références citées; <ref-ruling> consid. 1a p. 188).
Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (<ref-ruling> consid. 1.2 p. 539; <ref-ruling> consid. 1 p. 356). Lorsque, comme en l'espèce, le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles (<ref-ruling> consid. 1.3.1 p. 248). Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre la partie intimée. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.; plus récemment arrêt 6B_337/2019 du 21 mai 2019 consid. 1.1).
Lorsque la partie plaignante invoque des infractions distinctes, elle doit mentionner par rapport à chacune d'elles en quoi consiste son dommage. Si le dommage n'est motivé qu'en ce qui concerne une des infractions, le recours est irrecevable pour les autres (arrêts 6B_874/2017 du 18 avril 2018 consid. 2.2.1; 6B_865/2015 du 10 octobre 2016 consid. 1.1).
1.2. Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent pas être séparés du fond (cf. <ref-ruling> consid. 1.1 p. 5).
1.3. S'agissant de sa qualité pour recourir contre la confirmation implicite du refus tacite d'entrer en matière sur l'accusation de violation de domicile commise par l'intimé, le recourant ne prétend pas avoir de prétentions civiles découlant de cette infraction. Il n'a partant pas qualité pour recourir au fond. Dès lors qu'il invoque une violation de son droit d'obtenir une décision motivée, soit une violation de ses droits de partie équivalant à un déni de justice formel, il a en revanche qualité pour recourir sur ce point.
1.4. A l'appui de sa qualité pour recourir contre la confirmation du refus d'entrer en matière sur l'accusation de vol, respectivement d'appropriation illégitime dirigée contre l'intimé, le recourant fait valoir qu'il entend réclamer à ce dernier la restitution du véhicule litigieux ainsi qu'une indemnisation des éventuels dommages infligés à celui-ci, subsidiairement 13'000 fr. au titre de la disparition de son véhicule ensuite de l'appropriation illégitime commise. Au vu de ce qui précède, le recourant a la qualité pour recourir contre la confirmation précitée.
2.
Le recourant fait valoir une violation de son droit d'être entendu, l'autorité précédente ne s'étant pas déterminée, à l'instar du ministère public, sur l'accusation de violation de domicile.
2.1. Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. implique notamment le devoir pour l'autorité de motiver sa décision. Selon la jurisprudence, il suffit que celle-ci mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Elle n'est pas tenue de se prononcer sur tous les moyens des parties et peut ainsi se limiter aux points essentiels pour la décision à rendre (<ref-ruling> consid. 3.1 p. 109; <ref-ruling> consid. 3.2.4 p. 41). En revanche, une autorité se rend coupable d'un déni de justice formel lorsqu'elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (<ref-ruling> consid. 3.2.1 p. 565; arrêt 6B_984/2018 du 4 avril 2019 consid. 6.1).
2.2. L'arrêt attaqué retient que le 8 septembre 2018 le recourant a déposé plainte contre inconnu, alors qu'il venait de constater la disparition d'un véhicule automobile sur son site d'exposition de E._ quelques jours avant. L'arrêt attaqué ne précise pas les infractions alors dénoncées. Les autorités n'auraient de toute façon pas été liées par cette dernière précision (cf. arrêt 6B_1237/2018 du 15 mai 2019 consid. 1.2 non publié aux <ref-ruling>). Par courrier du 20 septembre 2018, son conseil a toutefois requis du ministère public que cette autorité traite " la plainte qu'il a déposée pour vol, subsidiairement violation de domicile ". Cette déclaration, faite par écrit par le recourant, dans le délai de plainte, au ministère public, suffisait pour respecter les exigences de forme posée par l'<ref-law> (cf. arrêt <ref-ruling> consid. 1.3 p. 192) s'agissant d'une plainte visant des faits possiblement constitutifs de violation de domicile. Dans son recours cantonal, le recourant s'est plaint que le ministère public n'ait pas motivé son refus d'entrer en matière sur la violation de domicile dont il accusait l'intimé. L'autorité précédente n'a pas examiné ce grief, commettant ainsi un déni de justice, respectivement - dût-on considérer sa décision comme une confirmation implicite du refus tacite d'entrer en matière sur l'accusation de violation de domicile - comme une violation du droit à une décision motivée.
Le recours doit être admis sur ce point, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
3.
Le recourant se plaint de la confirmation par l'autorité précédente du refus d'entrer en matière sur l'accusation de vol, respectivement d'appropriation illégitime dirigée contre l'intimé.
3.1. Se rend coupable de vol, celui qui, pour se procurer ou procurer à un tiers un enrichissement illégitime, aura soustrait une chose mobilière appartenant à autrui dans le but de se l'approprier (<ref-law>).
Se rend coupable d'appropriation illégitime celui qui, pour se procurer ou procurer à un tiers un enrichissement illégitime, se sera approprié une chose mobilière appartenant à autrui, en tant que les conditions prévues aux art. 138 à 140 CP ne sont pas réalisées (<ref-law>).
L'appropriation illégitime comme le vol suppose l'existence d'une chose mobilière appartenant à autrui. Une autre personne que l'auteur doit avoir un droit de propriété sur la chose volée (<ref-ruling> consid. 2 p. 104; plus récemment arrêt 6B_311/2013 du 28 mai 2013 consid. 2.3). Déterminer si une chose mobilière appartient à autrui se résout à la lumière du droit civil et plus particulièrement des <ref-law> (<ref-ruling>consid. 3.3 p. 81; <ref-ruling> consid. 3c p. 182; plus récemment arrêt 6B_586/2010 du 23 novembre 2010 consid. 4.3.1).
3.2. En l'espèce, l'autorité précédente a estimé qu'il était manifeste que le comportement de l'intimé ne réalisait pas, sous l'angle subjectif, les conditions d'une infraction contre le patrimoine. En effet, l'intimé ne savait pas et n'avait aucune raison de croire qu'un tiers avait pu penser acquérir de bonne foi le véhicule litigieux. De plus, dans les circonstances du cas d'espèce, il avait toutes les raisons de s'estimer en droit de récupérer son bien au moyen de la clef qu'il avait conservée.
L'autorité précédente a également constaté que le recourant était commerçant en achat et vente de véhicules et donc un professionnel de l'automobile. Or le recourant admettait n'avoir reçu de D._, avec le véhicule, qu'une clef ainsi qu'une photographie du permis de circulation. Selon l'autorité précédente, l'absence de la seconde clef et de l'original du permis de circulation était manifestement de nature à faire comprendre au recourant que le garage de l'intimé s'estimait encore propriétaire du véhicule. En effet, dans la mesure où D._ avait pu prendre une photocopie du permis de circulation annulé, il était évident d'une part que l'original de ce permis se trouvait encore en possession du garage de l'intimé, d'autre part que si ce garage n'avait pas remis la seconde clef et l'original du permis à D._, c'était parce que la vente du véhicule n'avait pas eu lieu. Si le recourant ne s'est pas présenté audit garage pour récupérer la seconde clef et l'original du permis de circulation annulé ou à tout le moins pour demander pourquoi cette clef et l'original de ce permis n'avaient pas été remis à D._, c'était selon l'autorité précédente à l'évidence parce qu'il savait ou se doutait que la vente du véhicule n'avait pas eu lieu. L'aut orité précédente a dès lors retenu l'absence manifeste de bonne foi du recourant.
3.3. A l'encontre de ce raisonnement, le recourant reproche à l'autorité précédente de n'avoir pas retenu qu'il avait acquis ce véhicule de bonne foi. Il conteste à cet égard avoir su ou dû savoir que l'intimé, respectivement son garage, s'estimait encore propriétaire du véhicule. Il fait valoir à cet égard l'arbitraire dans la constatation des faits ainsi qu'une violation du principe " in dubio pro duriore ".
3.3.1. Le Tribunal fédéral est lié par l'appréciation des preuves et les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel pour arbitraire (<ref-ruling> consid. 2.2 p. 334; <ref-ruling> consid. 2.5 p. 73 s.). Un grief d'arbitraire dans l'appréciation des preuves et la constatation des faits ne peut être admis que si la décision est arbitraire non seulement dans sa motivation, mais également dans son résultat (<ref-ruling> consid. 7.1 p. 124; <ref-ruling> consid. 4.3 p. 380).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 30; <ref-ruling> consid. 2.4 p. 368).
3.3.2. Le principe " in dubio pro duriore " signifie qu'en principe un classement ou une non-entrée en matière ne peut être prononcé par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 2.2.1 p. 243).
3.3.3. Aux termes de l'<ref-law>, celui qui, étant de bonne foi, est mis à titre de propriétaire en possession d'un meuble en acquiert la propriété, même si l'auteur du transfert n'avait pas qualité pour l'opérer; la propriété lui est acquise dès qu'il est protégé selon les règles de la possession. Selon ces règles, est protégé l'acquéreur de bonne foi auquel une chose mobilière est transférée à titre de propriété ou d'autre droit réel, même si l'auteur du transfert n'avait pas l'autorisation de l'opérer (<ref-law>; arrêt 5A_962/2017 du 29 mars 2018 consid. 3.1). Le droit de l'ayant-droit jusqu'à ce moment s'éteint, de sorte que l'acquéreur peut en disposer librement (<ref-ruling> consid. 3a p. 305; arrêt 6P.145/2005 du 1er mars 2006 consid. 6.1).
Il résulte de ce qui précède que tant l'acquisition de la propriété au sens de l'<ref-law> que les dispositions protégeant la possession présupposent la bonne foi de l'intéressé.
3.3.4. Aux termes de l'<ref-law>, la bonne foi est présumée, lorsque la loi en fait dépendre la naissance ou les effets d'un droit.
Selon l'<ref-law>, nul ne peut invoquer sa bonne foi, si elle est incompatible avec l'attention que les circonstances permettaient d'exiger de lui. La mesure de l'attention exigée par les circonstances, au sens de l'<ref-law>, est une notion soumise à l'appréciation du juge (<ref-law>; <ref-ruling> consid. 4.3.3 p. 662; <ref-ruling> consid. 2.3.2 p. 421 s.). Dans son appréciation juridique du degré de l'attention commandée par les circonstances, le juge doit prendre en considération l'ensemble de la situation concrète et appliquer des critères objectifs. Cette question relève du droit, mais le Tribunal fédéral ne revoit qu'avec retenue cette appréciation juridique et n'intervient que si l'autorité cantonale a abusé de ce pouvoir (<ref-ruling> consid. 4.3.3 p. 662 et les références citées).
Dans les branches d'activité où des marchandises de provenance douteuse sont fréquemment offertes, il est exigé de l'acquéreur, qui a des connaissances en la matière, un degré élevé d'attention au sens de l'<ref-law> (ATF <ref-ruling> consid. 2.3.2 p. 422; <ref-ruling> consid. 2 b/aa p. 4). Le commerce de voitures d'occasion fait partie de ces domaines (ATF <ref-ruling> consid. 2a p. 3; <ref-ruling> consid. 2c p. 400; arrêts 5A_962/2017 précité consid. 5.1). Lorsque l'attention requise par les circonstances n'a pas été respectée, cela implique les mêmes conséquences qu'en cas de mauvaise foi (<ref-ruling> consid. 3.2.2 p. 308; <ref-ruling> consid. 2a p. 3).
3.3.5. En l'occurrence le recourant critique le fait retenu par l'autorité précédente qu'il savait ou se doutait que la vente du véhicule n'avait pas eu lieu. Sa critique est toutefois de nature purement appellatoire, reposant notamment sur des faits qui eux-mêmes n'ont pas été constatés par l'autorité précédente sans les accompagner d'un grief d'arbitraire de leur omission. Il passe en outre sous silence qu'il n'avait obtenu qu'une photographie du permis de circulation, ce qui laissait bien penser que l'original se trouvait au garage d'où provenait le véhicule et donc que celui-ci n'avait pas vendu son bien. Il passe également sous silence que malgré cette situation plus que douteuse (une seule clef et seulement une photo d'un permis), le recourant s'est bien gardé de venir vérifier auprès de l'intimé ou de son garage la véracité de l'existence de la vente qu'il invoque en sa faveur. Son argumentation s'agissant des faits constatés est irrecevable.
Dans ces circonstances, au vu des faits exposés ci-dessus, l'autorité précédente pouvait juger, sans violer son pouvoir d'appréciation ni le principe " in dubio pro duriore ", que le recourant, professionnel de l'automobile, n'avait pas de bonne foi été mis en possession du véhicule. Il n'en avait partant pas acquis la propriété. Le recourant ne pouvait donc se prévaloir du transfert de propriété (<ref-law> a contrario) et ne pouvait non plus revendiquer contre aucun possesseur subséquent (<ref-law>).
Le recourant ne conteste pas que l'intimé était propriétaire du véhicule avant le 18 juillet 2018. A juste titre, il ne soutient pas que D._ l'aurait acquis de bonne foi. Ne pouvant se prévaloir de sa bonne foi, le recourant n'est pas non plus devenu propriétaire du véhicule. L'intimé en est donc resté propriétaire. Il ne pouvait par conséquent se rendre coupable de vol ou d'appropriation illégitime de cette chose.
Dans ces conditions, la confirmation par l'autorité précédente du refus d'entrer en matière sur de telles accusations portées contre l'intimé ne prête pas flanc à la critique et ne viole pas le principe in " dubio pro duriore ". Le recours doit partant être rejeté sur ce pan de la cause dans la mesure de sa recevabilité, ce sans que les griefs du recourant s'agissant de l'aspect subjectif des infractions reprochées à l'intimé aient à être approfondis.
4.
Il s'ensuit que le recours doit être partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
Le recourant ne supportera pas de frais et peut prétendre à une indemnité de dépens réduite, à la charge du canton de Neuchâtel, relativement à l'admission partielle de son recours (<ref-law>). Succombant pour le surplus, il supportera des frais judiciaires réduits (<ref-law>). L'intimé, qui ne s'est finalement pas déterminé, n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure de sa recevabilité.
2.
Des frais judiciaires réduits, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le canton de Neuchâtel versera au recourant la somme de 1'000 fr. à titre de dépens réduits pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Autorité de recours en matière pénale.
Lausanne, le 24 octobre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod