Faits :
A.
Par jugement du 2 juillet 2015, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a reconnu X._ coupable d'incendie intentionnel, d'infraction à la LStup (loi fédérale sur les stupéfiants du 3 octobre 1951; RS 812.121), de violation grave des règles de la circulation routière, d'ivresse au volant qualifiée, de tentative de dérobade aux mesures visant à déterminer l'incapacité de conduire et de violation des devoirs en cas d'accident. Il l'a condamné à une peine privative de liberté de 18 mois, sous déduction de la détention subie, et a suspendu l'exécution d'une partie de la peine portant sur 12 mois, le délai d'épreuve étant fixé à 4 ans. Il a notamment ordonné la confiscation et la destruction d'une petite quantité de haschich ainsi que d'une bouteille de liquide brûleur entamée.
B.
La Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre la décision de première instance, par jugement du 2 novembre 2015.
La cour cantonale s'est fondée en substance sur les faits suivants.
Le samedi 10 mars 2012, vers 20h15, à A._, X._ a été interpellé par la police au domicile de son épouse, dont il vivait séparé depuis le mois de décembre 2010. Il a été entendu par la gendarmerie et par le procureur, à la suite de la plainte déposée par son épouse, notamment pour menaces dirigées contre elle-même et leurs enfants mineurs. Il a été relaxé le dimanche 11 mars 2012 vers 13h15. Dès ce moment et jusqu'à 15h55, X._ a tenté de contacter téléphoniquement son épouse et deux de ses enfants à une quarantaine de reprises au total. Il s'est ensuite déplacé aux jardins familiaux de B._, où il a mis le feu au cabanon construit sur la parcelle louée par son épouse, lequel a été totalement détruit. Les parois des deux cabanons voisins ont en outre été noircies.
X._ était porteur d'une petite quantité de haschich qu'il envisageait de donner à sa copine qui fumait.
Le 27 juin 2012, vers 7h40, X._ circulait au volant de son véhicule automobile alors qu'il se trouvait sous l'influence de l'alcool. Sur la route d'Yverdon, à Romanel-sur-Lausanne, il a dépassé un autre automobiliste en empruntant une surface interdite au trafic. Environ 500 mètres plus loin, il a perdu la maîtrise de son véhicule et a traversé un îlot herbeux séparant les voies montante et descendante du Pont de Félezin, heurtant un véhicule utilitaire du Service des routes stationné à cet endroit. A la suite de cette embardée, X._ a fait demi-tour, franchissant ainsi la ligne de sécurité séparant les deux axes du trafic. Il s'est déplacé jusqu'à C._, où il affirme avoir bu deux petites gorgées de vodka. X._ a été soumis à une prise de sang, laquelle a révélé une alcoolémie d'au moins 1.28 g o/oo.
B.a. X._ a fait l'objet de trois condamnations prononcées entre 2005 et 2011, notamment pour conduite en état d'ébriété, et cinq mesures administratives en matière de circulation routière, prononcées entre 2005 et 2014 pour des problèmes d'alcoolémie au volant.
B.b. A teneur de l'expertise psychiatrique établie le 25 janvier 2013, X._ présentait une responsabilité moyennement restreinte au moment des faits. Souffrant notamment de séquelles de psychose infantile, de retard mental léger, d'utilisation d'alcool nocive pour la santé et présentant une structure et un fonctionnement de personnalité psychotique à traits paranoïaques et caractériels, X._ est vulnérable à la critique avec un risque de débordement émotionnel.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il n'est pas reconnu coupable des chefs d'infraction reprochés, qu'il est condamné à une peine pécuniaire modérée et que la bouteille de liquide brûleur lui est restituée. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvel arrêt et nouvelle instruction dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste être l'auteur de l'incendie du cabanon. Il s'en prend à l'établissement des faits et à l'appréciation des preuves, en invoquant une violation du principe de la présomption d'innocence. Il fait valoir une violation de son droit d'être entendu s'agissant de certaines mesures d'instruction requises.
1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre pas en matière sur les critiques de nature appellatoire et n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 1.3.1 p. 253).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst. et 6 par. 2 CEDH, ainsi que son corollaire le principe "in dubio pro reo" concernent tant l'appréciation des preuves que le fardeau de la preuve. Comme règle régissant l'appréciation des preuves, le principe "in dubio pro reo" interdit au juge de se déclarer convaincu d'un état de fait défavorable au prévenu, lorsqu'une appréciation objective des éléments de preuve recueillis laisse subsister un doute sérieux et insurmontable quant à l'existence de cet état de fait. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 6.1 p. 205). Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_275/2015 du 22 juin 2016 consid. 2.1).
1.2. Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours peut administrer, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêt 6B_923/2015 du 24 mai 2016 consid. 8.1 et les références). Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64 et les références citées).
1.3. A l'instar des premiers juges, la cour cantonale a acquis la conviction que le recourant avait bouté le feu au cabanon situé sur la parcelle louée par son épouse en se fondant sur les éléments suivants.
D'une part, selon la cour cantonale, il existe une coïncidence temporelle entre l'incendie du cabanon et la relaxation du recourant intervenue quelques heures plus tôt. Le jour des faits, à peine relaxé d'une audition auprès du procureur (13h05), le recourant a tenté de contacter téléphoniquement son épouse et ses enfants à près de 40 reprises (entre 13h15 et 15h55). Les appels ont été relayés par trois antennes-relais, dont celle de la rue D._. Le recourant a interrompu ses appels pendant une durée de 40 minutes. Lorsqu'il a recommencé à faire usage de son téléphone mobile, à 16h35, il a déclenché une nouvelle antenne relais, située à la rue E._. Par la suite, ses appels ont à nouveau été relayés par l'antenne de la rue D._ jusqu'à la fin de journée. Lors de son audition par le Ministère public dans la présente cause, le recourant a tout d'abord prétendu qu'il n'avait plus quitté sa chambre d'hôtel à partir de 15h00. Puis, en audience de première instance, le recourant s'est ravisé, admettant qu'il était ressorti pour acheter des cigarettes dans un kiosque situé à la rue D._. Ainsi, aucune des versions données par le recourant ne permettait d'expliquer qu'il ait déclenché l'antenne sise à la rue E._ ce jour-là vers 16h35.
Par ailleurs, bouter le feu au cabanon de jardin familial en réaction à l'absence de réponse de ses proches après avoir passé une nuit dans les locaux de la police à la suite d'une dénonciation de son épouse, apparaissait comme un comportement susceptible de correspondre au fonctionnement psychique du recourant, en particulier au risque de débordement émotionnel décrit par les experts.
Par surabondance, la cour cantonale a souligné qu'un codétenu du recourant s'était spontanément adressé aux autorités judiciaires par courrier du 30 mars 2012 pour expliquer que ce dernier lui avait indiqué à trois reprises, qu'il était bien l'auteur de l'incendie du cabanon de jardin. Ce témoin a confirmé ses dires lors de son audition devant le Ministère public, précisant que le recourant avait donné des détails sur le contenu du cabanon. Le codétenu n'avait aucun intérêt personnel à dénoncer fallacieusement le recourant, dès lors que sa propre condamnation était antérieure à sa lettre.
La cour cantonale a rejeté les réquisitions de preuves du recourant tendant à l'audition d'un spécialiste de Swisscom sur le fonctionnement des antennes-relais, ainsi que l'audition et la confrontation du codétenu, celles-ci n'étant pas nécessaires au traitement de l'appel.
1.4. Le recourant échoue à démontrer l'arbitraire dans l'établissement des faits et l'appréciation des preuves.
S'agissant des antennes-relais, il se contente de maintenir qu'il n'était pas à proximité de l'antenne E._ ce jour-là et avance différentes hypothèses pour expliquer l'activation de cette dernière. Fondées sur une appréciation personnelle des faits, ces suppositions ne sont pas recevables. C'est en vain qu'il prétend que le refus, par la cour cantonale, d'auditionner un spécialiste de Swisscom ou de produire une explication technique sur le fonctionnement de ces antennes consacrerait une violation de son droit d'être entendu. Le recourant ne démontre pas dans quelle mesure le fonctionnement exact de l'activation de ces antennes serait pertinent. Seuls importent en l'espèce la coïncidence temporelle entre les appels (respectivement leur interruption) et l'incendie ainsi que le changement de version donnée par le recourant, une fois confronté au relevé des appels.
C'est par un procédé purement appellatoire que le recourant tente de remettre en cause le lien temporel entre les nombreux appels aux membres de sa famille et l'incendie du cabanon familial. Il en va de même des suppositions émises, selon lesquelles son épouse serait à l'origine de l'incendie. Le recourant échoue à démontrer l'arbitraire de l'appréciation cantonale en expliquant que la présence de liquide inflammable dans sa chambre serait un indice en sa faveur, tant il serait évident qu'il n'aurait jamais gardé du matériel compromettant à son domicile.
L'absence de témoin, de trace ou d'odeur sur le corps du recourant ou sur ses vêtement, ainsi que la mention dans le rapport d'intervention de la police selon laquelle l'état de destruction du cabanon ne permet pas de préciser les causes de l'incendie ne sont pas aptes à démontrer l'arbitraire de la décision.
Enfin, c'est en vain que le recourant évoque des difficultés conjugales et énumère longuement (mémoire de recours, ch. 5 p. 6-7) les situations dans lesquelles son épouse ou les proches de cette dernière l'auraient accusé à tort de différents actes (menaces, violences, etc.). En effet, ces causes ne sont pas liées à la présente affaire et la culpabilité du recourant n'est aucunement fondée sur les déclarations de son épouse ou des proches de celle-ci.
1.5. En définitive, la cour cantonale pouvait, sans arbitraire, déduire des déclarations contradictoires du recourant, de la coïncidence tant temporelle que matérielle entre sa relaxation et l'incendie, et de sa tendance au débordement émotionnel en cas de contrariété, que ce dernier était l'auteur de l'incendie du cabanon de jardin situé sur la parcelle louée par son épouse.
En tant que le recourant s'en prend à la valeur probante du témoignage de son codétenu et à l'exploitabilité de ce dernier, faute de confrontation, son grief s'épuise dans la mesure où la cour cantonale a forgé sa conviction sur la base d'autres éléments probants. Le témoignage apparaît ainsi comme un simple support, non déterminant. Au demeurant, le recourant ne prétend pas que son avocat, présent lors de l'audition du codétenu, n'aurait pas eu l'occasion de poser toutes les questions qu'il jugeait utiles.
2.
Le recourant considère que les conditions de l'infraction d'incendie intentionnel ne sont pas réalisées.
2.1. A teneur de l'<ref-law>, celui qui, intentionnellement, aura causé un incendie et aura ainsi porté préjudice à autrui ou fait naître un danger collectif sera puni d'une peine privative de liberté de un an au moins (al. 1).
La notion d'incendie, contenue dans la disposition précitée, vise un feu d'une telle ampleur qu'il ne peut plus être éteint par celui qui l'a allumé; savoir si le feu a pris une telle importance relève des constatations de fait (<ref-ruling> consid. 2a p. 286). Pour que l'infraction prévue par l'<ref-law> soit réalisée, il ne suffit toutefois pas que l'auteur ait intentionnellement causé un incendie. Cette disposition prévoit en effet un élément supplémentaire sous une forme alternative: soit l'auteur a causé ainsi un préjudice à autrui, soit il a fait naître un danger collectif (<ref-ruling> consid. 2a p. 286).
Par préjudice à autrui, il faut entendre le dommage patrimonial causé à un tiers et résultant directement des dégâts commis à la chose incendiée. Cette limitation découle de ce que l'incendie intentionnel est considéré comme un cas qualifié de dommages à la propriété (cf. <ref-law>). Ainsi, si la chose incendiée appartient à l'auteur de l'incendie ou que celui-ci consent à ce que sa chose soit incendiée, il n'y a pas de préjudice à autrui; il n'en va différemment que si une autre personne titulaire d'un droit réel restreint sur la chose incendiée est atteinte dans ce droit (<ref-ruling> consid. 2b p. 184).
La notion de danger collectif vise de manière générale une mise en péril, même relativement indéterminée au moment de l'acte, de n'importe quel bien juridiquement protégé, et non pas spécifiquement de la personne humaine (<ref-ruling> consid. 2a p. 286).
L'infraction requiert l'intention de causer un incendie ainsi qu'un préjudice pour autrui ou de créer un danger collectif, le dol éventuel suffit (cf. <ref-ruling> consid. 2c p. 184; <ref-ruling> consid. 2c p. 40). S'agissant du danger collectif, celui qui a conscience qu'un tel danger existe et agit néanmoins montre par là qu'il veut ou accepte le danger (BERNARD CORBOZ, Les infractions en droit suisse, vol. II, 3è éd. 2010, n° 30 ad <ref-law>).
2.2. La cour cantonale a retenu que les deux conditions alternatives de l'<ref-law> étaient réalisées. D'une part, le locataire de la parcelle sur laquelle se trouvait le cabanon était l'épouse du recourant et non le couple. Le cabanon qui s'y trouvait faisait partie du matériel autorisé au locataire de la parcelle des jardins communaux. Le fait que le recourant avait participé à sa construction était donc sans pertinence sur la propriété de l'objet. D'autre part, l'incendie et la destruction complète du cabanon en bois se trouvant sur un terrain comportant d'autres cabanons du même type a créé un danger collectif en raison du risque de propagation de l'incendie, étant précisé que les cabanons voisins ont été noircis. Relevant que l'intervention des pompiers a été nécessaire pour éteindre le feu, la cour cantonale a considéré qu'il existait un danger réel qu'il se propage. Elle a ainsi exclu que le recourant voulait seulement détruire, par un feu limité et maîtrisé, un objet déterminé.
2.3. Le recourant ne tente pas de démontrer l'arbitraire de la constatation selon laquelle il existait un danger réel que le feu se propage dans les jardins communaux. Il ne conteste pas non plus, sous l'angle de l'arbitraire, que les cabanons voisins de celui situé sur la parcelle de son épouse ont été noircis. Or ces éléments suffisent pour retenir l'existence d'un danger collectif, plusieurs biens juridiquement protégés ayant été endommagés et d'autres risquant de l'être (proximité des cabanons dans les jardins communaux). Le danger collectif étant un élément objectif alternatif de l'infraction d'incendie intentionnel, celui-ci suffit à réaliser l'infraction, sous réserve de l'élément subjectif. Aussi, il n'y a pas lieu d'examiner si l'incendie a causé un dommage patrimonial à un tiers.
2.4. Le recourant conteste avoir eu l'intention de réaliser l'infraction.
Déterminer ce qu'une personne a su, envisagé ou accepté relève de l'établissement des faits (<ref-ruling> consid. 6.3 p. 375), que le Tribunal fédéral ne peut réexaminer que lorsque celui-ci est entaché d'inexactitude manifeste (<ref-law>), à savoir d'arbitraire.
Le recourant se borne à affirmer que, s'il y avait intention, elle portait à l'évidence sur le seul cabanon situé sur la parcelle louée par son épouse et non sur les cabanons voisins. Cette affirmation est purement appellatoire, partant, irrecevable.
3.
Le recourant prétend qu'au vu de la grande tolérance qu'il y aurait pour les drogues douces, il n'y aurait pas eu de poursuite pénale relative à l'infraction à la LStup s'il n'y avait pas eu les autres cas. Ce faisant, il ne formule aucun grief recevable contre sa condamnation de ce chef d'infraction (<ref-law>). Par ailleurs, il ne conteste pas les faits reprochés.
Le recourant ne formule aucun grief recevable contre sa condamnation des chefs d'infractions à la LCR (Loi fédérale sur la circulation routière du 19 décembre 1958; RS 741.01). En effet, c'est de manière purement appellatoire, partant irrecevable qu'il affirme n'avoir pas cherché à se soustraire à ses devoirs en cas d'accident ou que l'alcoolémie était probablement plus faible que celle retenue (art. 97 al. 1 et 105 al. 2 LTF). Il admet avoir perdu la maîtrise de son véhicule et ne tente d'aucune manière de démontrer en quoi le développement cantonal serait erroné en tant qu'il aboutit à une violation grave des règles de la circulation (mise en danger de la sécurité d'autrui en franchissant un îlot herbeux séparant deux voies de circulation avant de percuter un véhicule parqué). C'est également par un procédé irrecevable qu'il affirme que les faits reprochés n'auraient certainement jamais eu lieu s'il n'avait pas été mis de manière injustifiée en détention au mois de mars.
4.
Le recourant affirme que la peine infligée est sévère et ne tiendrait pas suffisamment compte de l'ensemble des circonstances.
4.1. L'<ref-law> prévoit que le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). L'alinéa 2 de cette disposition énumère une série de critères à prendre en considération pour déterminer la culpabilité de l'auteur (<ref-ruling> consid. 5.4 p. 59; <ref-ruling> consid. 2.1 et les références citées). Les principes régissant la fixation de la peine en cas de diminution de la responsabilité (<ref-law>) ont été arrêtés dans l'arrêt publié aux <ref-ruling>: une diminution de la responsabilité au sens de cette disposition conduit à une diminution de la faute et non de la peine. La réduction de celle-ci n'est que la conséquence de la faute plus légère (consid. 5.5 p. 59 s.).
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61).
4.2. Se fondant sur le raisonnement des premiers juges, la cour cantonale a retenu une culpabilité relativement lourde, tout en prenant en considération la responsabilité pénale moyennement diminuée du recourant, en référence à la jurisprudence topique à cet égard. Malgré la faible quantité de drogue, la cour cantonale a pris en compte le concours d'infractions ainsi que l'attitude vile et dangereuse du recourant consistant à bouter le feu au cabanon de son épouse en réaction à sa frustration. Elle a également tenu compte des antécédents du recourant (multirécidiviste en matière de conduite en état d'ébriété) et de son attitude le jour de l'accident, retenant qu'il n'avait manifestement pas encore saisi la gravité de ses agissements au stade de l'appel.
4.3. En tant que le recourant affirme que sa détention du mois de mars lui aurait fait perdre son logement et son emploi et qu'il aurait connu des périodes difficiles, il s'écarte de manière inadmissible de l'état de fait retenu par la cour cantonale (<ref-law>). En tout état, il ne tente pas de démontrer dans quelle mesure ces circonstances auraient un impact sur la peine. Le recourant se méprend lorsqu'il prétend que sa consommation d'alcool et la responsabilité restreinte mises en évidence par l'expertise psychiatrique n'auraient pas été prises en considération dans la fixation de la peine. La cour cantonale a expressément tenu compte d'une responsabilité pénale moyennement diminuée du recourant en raison notamment de la probable intoxication alcoolique ayant un effet désinhibiteur.
Au vu de ce qui précède, la peine privative de liberté de 18 mois (dont 6 fermes) se situe dans le bas du cadre légal (cf. notamment art. 49 al. 1 et <ref-law>) et repose sur des critères pertinents. On n'en discerne pas d'importants qui auraient été omis ou pris en considération à tort. La sanction infligée ne viole donc pas l'<ref-law>.
5.
Il n'y a pas lieu de donner suite aux conclusions du recourant tendant à la restitution de la bouteille de liquide brûleur, faute de grief.
6.
Il résulte de ce qui précède que le recours doit être rejeté dans la faible mesure de sa recevabilité. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit dès lors être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 23 novembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke