Faits :
A.
Par jugement du 28 avril 2014, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants et contrainte sexuelle à une peine privative de liberté de vingt-quatre mois, avec sursis durant cinq ans, sous déduction de vingt-trois jours de détention provisoire. Il a dit que X._ était le débiteur d'indemnités pour tort moral arrêtées à 10'000 fr. en faveur de A._ et à 3'000 fr. pour chacun des parents de cette enfant. Il a dit que les objets séquestrés sous fiche 532 étaient maintenus au dossier à titre de pièces à conviction.
B.
Par jugement du 28 août 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a admis l'appel formé par X._, libéré ce dernier des accusations d'actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle. Elle lui a alloué une indemnité de 10'000 fr. au titre de l'<ref-law> et dit que les objets séquestrés sous fiche 532 étaient maintenus au dossier à titre de pièces à conviction.
C.
X._ forme un recours en matière pénale contre ce jugement. Il conclut avec suite de frais et dépens à l'octroi d'une indemnité pour tort moral de 15'000 fr., sous déduction du montant accordé par l'autorité d'appel à hauteur de 5'400 fr., avec intérêts à 5% l'an dès le 15 août 2012, d'une indemnité pour ses frais de déplacement par 600 fr. avec intérêts à 5% l'an dès le 3 juin 2014, d'une indemnité pour frais de location d'une place de parc par 1'080 fr. avec intérêts à 5% l'an dès le 6 septembre 2012 et d'une indemnité pour le dommage total subi par un auvent par 2'850 fr. avec intérêts à 5% l'an dès le 6 septembre 2012. Il sollicite que l'indemnité accordée en première instance porte intérêts à 5% l'an dès le 15 août 2012. Il requiert de plus que les objets séquestrés sous fiche 532 (enregistrement divers sur dossiers photographiques et natel de X._) lui soient restitués. Il conclut à l'octroi de l'assistance judiciaire.
L'autorité précédente et le ministère public ont renoncé à se déterminer sur le recours et se sont référés au jugement entrepris.

Considérant en droit :
1.
Les pièces produites sous les deux bordereaux accompagnant le recours en matière pénale sont irrecevables dans la mesure où elles sont nouvelles (<ref-law>).
2.
Le recourant estime insuffisante l'indemnité pour tort moral qui lui a été accordée à hauteur de 10'000 francs. Il réclame de plus que la somme à prononcer porte intérêt à 5 % l'an dès sa mise en prévention le 15 août 2012.
2.1. En l'espèce, les prétentions en indemnités et en réparation du tort moral dans la procédure de recours sont régies par les art. 429 à 434 CPP (<ref-law>).
En vertu de l'<ref-law>, si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à (a) une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure, (b) une indemnité pour le dommage économique subi au titre de sa participation obligatoire à la procédure pénale et (c) une réparation du tort moral subi en raison d'une atteinte particulièrement grave à sa personnalité, notamment en cas de privation de liberté.
L'<ref-law> fonde un droit à des dommages et intérêts et à une réparation du tort moral résultant d'une responsabilité causale de l'Etat. La responsabilité est encourue même si aucune faute n'est imputable aux autorités. L'Etat doit réparer la totalité du dommage qui présente un lien de causalité avec la procédure pénale, au sens du droit de la responsabilité civile (<ref-ruling> consid. 1.3.1 p. 239).
2.2. Afin d'avoir droit à l'indemnité visée par l'art. 429 al. 1 let. c CPP, l'intensité de l'atteinte à la personnalité doit être analogue à celle requise dans le contexte de l'<ref-law> (arrêts 6B_928/2014 du 10 mars 2016 consid. 5.1 non publié aux <ref-ruling>).
L'indemnité pour tort moral sera régulièrement allouée si le prévenu s'est trouvé en détention provisoire ou en détention pour des motifs de sûreté. Outre la détention, peut constituer une grave atteinte à la personnalité, par exemple, une arrestation ou une perquisition menée en public ou avec un fort retentissement médiatique, une durée très longue de la procédure ou une importante exposition dans les médias, ainsi que les conséquences familiales, professionnelles ou politiques d'une procédure pénale, de même que les assertions attentatoires aux droits de la personnalité qui pourraient être diffusées par les autorités pénales en cours d'enquête. En revanche, il n'y a pas lieu de prendre en compte les désagréments inhérents à toute poursuite pénale comme la charge psychique que celle-ci est censée entraîner normalement chez une personne mise en cause (arrêt 6B_928/2014 précité consid. 5.1 et les références citées).
L'ampleur de la réparation morale dépend avant tout de la gravité des souffrances physiques ou psychiques consécutives à l'atteinte subie par l'intéressé et de la possibilité d'adoucir sensiblement, par le versement d'une somme d'argent, la douleur morale qui en résulte. Sa détermination relève du pouvoir d'appréciation du juge. En raison de sa nature, l'indemnité pour tort moral, qui est destinée à réparer un dommage qui ne peut que difficilement être réduit à une simple somme d'argent, échappe à toute fixation selon des critères mathématiques, de sorte que son évaluation en chiffres ne saurait excéder certaines limites. L'indemnité allouée doit toutefois être équitable (<ref-ruling> consid. 11.2 p. 98; <ref-ruling> consid. 5.1 p. 704 s.).
La fixation de l'indemnité pour tort moral est une question d'application du droit fédéral, que le Tribunal fédéral examine donc librement. Dans la mesure où celle-ci relève pour une part importante de l'appréciation des circonstances, il fait toutefois preuve de retenue. Il n'intervient que si l'autorité cantonale s'est fondée sur des critères étrangers à la disposition applicable, a omis de tenir compte d'éléments pertinents ou a fixé une indemnité inéquitable parce que manifestement trop élevée ou trop faible (<ref-ruling> consid. 6.3.1 p. 344 s. et les références citées).
2.3. L'autorité précédente a jugé que le recourant avait droit à une indemnité pour la détention provisoire subie, à hauteur de 200 fr. par jour. Le recourant ayant subi 23 jours de détention préventive, elle lui a reconnu un droit à une indemnité de 4'600 francs. L'autorité précédente a de plus jugé que le recourant avait eu à souffrir dans sa santé et sa vie privée du fait de la procédure ouverte contre lui, l'accusation portée à son encontre étant particulièrement infamante et stigmatisante pour un homme âgé de plus de 70 ans. A cela s'ajoutait la piètre image que lui avait renvoyée les autorités précédentes. Elle avait ainsi reconnu que la procédure pénale lui avait porté une grave atteinte à sa personnalité justifiant l'octroi d'une indemnité arrêtée à 5'400 francs.
2.4. Le recourant prend acte du premier montant de 4'600 fr. octroyé en raison de la détention provisoire. Il estime toutefois le second, par 5'400 fr., insuffisant.
A l'appui de son grief, il compare ce dernier montant à ceux accordés par l'autorité de première instance, ensuite de la condamnation du recourant, à l'enfant et à ses parents, totalisant 16'000 francs. Une telle comparaison n'est pas convaincante. D'une part, dans cette dernière configuration ce n'était pas une indemnité de 16'000 fr. qui avait été octroyée, mais une indemnité de 10'000 fr., et deux de 3'000 francs. D'autre part et surtout, on ne saurait déduire abstraitement du montant alloué à une personne alors reconnue victime d'actes d'ordre sexuel et de contrainte sexuelle celui à accorder à l'auteur, dans l'hypothèse où ce dernier serait acquitté à l'issue d'une procédure d'appel. Il convient au contraire de se fonder sur la gravité des souffrances psychiques causées par la procédure pénale au recourant. A cet égard, ce dernier ne fait valoir aucun élément qui aurait à tort été omis ou insuffisamment pris en compte par l'autorité précédente et qui justifierait, sous l'angle de l'équité, une indemnité supérieure à celle accordée. Le montant alloué tient compte de la gravité de l'atteinte causée au recourant par la procédure pénale et son déroulement et n'apparaît pas manifestement trop faible par rapport aux souffrances morales endurées. Le grief doit être rejeté.
2.5. Le recourant réclame que le montant accordé à titre d'indemnité pour tort moral porte intérêt à 5% dès le jour où l'évènement s'est produit, soit dès sa mise en prévention, le 15 août 2012.
2.5.1. Fait partie du dommage l'intérêt depuis le moment où l'événement dommageable s'est fait sentir financièrement (intérêt compensatoire; Schadenzins). L'intérêt du dommage court jusqu'au moment où l'indemnité est payée et a pour objectif de placer l'ayant droit dans la même situation que s'il avait été dédommagé le jour de l'acte illicite ou le jour où les conséquences économiques de cet acte se sont fait sentir (<ref-ruling> consid. 4.1 p. 152; plus récemment <ref-ruling> consid. 8.1.2 p. 188). Cet intérêt s'élève en principe à 5 % (cf. <ref-law> et par analogie <ref-law>; <ref-ruling> consid. 8.1.2 p. 188; <ref-ruling> consid. 9.1 p. 22 et les références). Ainsi que le met en évidence la jurisprudence, les intérêts compensatoires ne sont que l'accessoire de la prétention principale et leur sort suit par conséquent celui de la prétention principale (arrêt 9F_13/2015 du 29 février 2016 consid. 9.1).
La réparation morale est traitée pour l'essentiel de la même façon que l'indemnité allouée en réparation du dommage. Elle est ainsi due avec intérêt à partir du jour où le préjudice a été causé (<ref-ruling> consid. 4.1 p. 152). L'intérêt constitue un élément de l'indemnité pour tort moral, car le lésé doit pouvoir bénéficier de l'indemnité indépendamment de la durée de la procédure jusqu'à la fixation définitive de son montant ou jusqu'à son paiement complet. L'intérêt sert à compenser l'impossibilité d'utiliser le capital pendant la période entre l'infraction ou ses effets sur la personnalité du lésé et le paiement (<ref-ruling> consid. 4.2 p. 152 s.; également <ref-ruling> consid. 3.3.2 p. 123).
Le CPP ne règle pas la question de savoir si l'indemnité accordée en vertu de l'<ref-law> doit être assortie d'un intérêt compensatoire. La jurisprudence se réfère toutefois pour fixer l'indemnité fondée sur l'art. 429 al. 1 let. c CPP aux dispositions du Code civil (<ref-law>) et du Code des obligations (<ref-law>), applicables pour fixer l'indemnité pour tort moral due entre particuliers (cf. par exemple arrêt 6B_928/2014 du 10 mars 2016 consid. 5.1 non publié aux <ref-ruling>). De plus, rien ne justifie qu'une personne soit moins bien traitée selon que son tort moral a été causé par un particulier ou par l'Etat, la jurisprudence exigeant pour ce dernier cas également que l'Etat répare la totalité du dommage qui présente un lien de causalité avec la procédure pénale (cf. supra consid. 2.1). I l se justifie au vu de ces éléments d'allouer au prévenu acquitté qui en fait la demande en temps utile (cf. infra consid. 3), e n plus de l'indemnité prévue par l'art. 429 al. 1 let. c CPP, également un intérêt compensatoire à hauteur de 5% de cette indemnité à partir du jour où le préjudice a été causé à son titulaire.
2.5.2. En l'espèce, l'autorité précédente a constaté que le recourant avait conclu au versement d'indemnités visées par l'art. 429 al. 1 let. c CPP, avec intérêts à 5% l'an dès le 15 août 2012, respectivement dès le 6 septembre 2012. Elle a toutefois alloué une telle indemnité, sans l'assortir d'intérêts, ni motiver le refus de cette partie des conclusions prises. Dans ces circonstances, le recours ne peut qu'être admis sur ce point et la cause renvoyée à l'autorité précédente afin qu'elle assortisse l'indemnité pour tort moral accordée d'intérêts à 5% l'an et fixe le dies a quo de ces intérêts.
3.
Le recourant reproche à l'autorité précédente de n'avoir pas tranché ses conclusions en indemnisation de ses frais de déplacement, de location et de réparation de son dommage matériel.
3.1. L'autorité précédente a constaté que le recourant n'avait pris aucune conclusion tendant à l'indemnisation des dommages précités dans le cadre de sa déclaration d'appel. Elle a dès lors jugé que les prétentions susmentionnées, formulées pour la première fois lors de l'audience d'appel, étaient tardives et donc irrecevables.
3.2. La partie qui annonce l'appel adresse une déclaration d'appel écrite à la juridiction d'appel dans les 20 jours à compter de la notification du jugement motivé (<ref-law>). Dans sa déclaration, elle indique notamment si elle entend attaquer le jugement dans son ensemble ou seulement sur certaines parties et les modifications du jugement de première instance qu'elle demande (<ref-law>). En vertu de l'<ref-law>, l'autorité pénale examine néanmoins d'office les prétentions du prévenu, visées par l'alinéa 1 de cette disposition. Elle peut enjoindre à celui-ci de les chiffrer et de les justifier. La jurisprudence a déduit de cette dernière disposition qu'il incombe à l'autorité pénale, à tout le moins, d'interpeller le prévenu sur la question de l'indemnité et de l'enjoindre au besoin de chiffrer et justifier ses prétentions en indemnisation (<ref-ruling> consid. 1.3.1 p. 240).
Dès lors que l'autorité d'appel doit interpeller le prévenu sur ses prétentions en indemnisation, on ne saurait considérer que celles-ci devraient, sous peine de forclusion, être formulées dans la déclaration d'appel. Formulées dans une requête d'indemnisation déposée au début de l'audience d'appel, elles n'étaient donc pas tardives et irrecevables pour ce motif. Il s'ensuit que le recours doit être admis, le jugement attaqué annulé sur ce point et la cause renvoyée à l'autorité précédente pour qu'elle statue sur les conclusions prises en indemnisation par le recourant dans sa requête du 28 août 2015 et invoquées ci-dessus.
4.
Le recourant reproche à l'autorité précédente de ne pas lui avoir restitué les objets séquestrés sous fiche 532, en particulier le CD portant sur l'extraction du contenu de son téléphone portable.
L'autorité précédente a refusé la restitution des pièces concernées au recourant et ordonné leur maintien au dossier à titre de pièces à conviction. Comme le relève le recourant, l'<ref-law> invoqué par l'autorité précédente n'est pas ici topique et ne permet pas de justifier cette décision. Tel est en revanche le cas de l'<ref-law>. Aux termes de l'alinéa 1 de cette disposition, les dossiers sont conservés au moins jusqu'à l'expiration des délais de prescription de l'action pénale et de la peine. Selon son alinéa 2, les documents originaux qui ont été versés au dossier sont restitués aux ayants droit contre accusé de réception dès que la cause pénale fait l'objet d'une décision entrée en force. En l'occurrence, il ne s'agit pas de documents originaux qui auraient été versés par le recourant, mais de pièces à conviction réunies par l'autorité pénale au cours de la procédure et versées au dossier par elle (art. 100 al. 1 let. b et art. 192 al. 1 CPP). Le recourant n'a aucun droit de se les voir remettre, encore moins " restituées " à l'issue de la procédure d'appel. Le grief est infondé.
5.
Il résulte de ce qui précède que le recours doit être partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision. Il doit être rejeté pour le surplus.
Le recourant a requis l'assistance judiciaire. Dans la mesure où il obtient partiellement gain de cause, il ne sera pas perçu de frais (art. 66 al. 1 et 4 LTF) et le recourant obtiendra des dépens réduits de la part du canton de Vaud (<ref-law>). La requête d'assistance judiciaire est pour cette partie de la procédure sans objet. Le recours était pour le surplus dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée pour le reste (<ref-law>). Une partie des frais sera ainsi supportée par le recourant, dont le montant sera toutefois fixé en tenant compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 400 fr., sont mis à la charge du recourant.
3.
Le canton de Vaud versera au conseil du recourant une indemnité réduite de 1500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La demande d'assistance judiciaire est rejetée, dans la mesure où elle n'est pas sans objet.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 20 décembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod