Faits : A. Par jugement du 2 juillet 2015, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a reconnu X._ coupable d'incendie intentionnel, d'infraction à la LStup (loi fédérale sur les stupéfiants du 3 octobre 1951; RS 812.121), de violation grave des règles de la circulation routière, d'ivresse au volant qualifiée, de tentative de dérobade aux mesures visant à déterminer l'incapacité de conduire et de violation des devoirs en cas d'accident. Il l'a condamné à une peine privative de liberté de 18 mois, sous déduction de la détention subie, et a suspendu l'exécution d'une partie de la peine portant sur 12 mois, le délai d'épreuve étant fixé à 4 ans. Il a notamment ordonné la confiscation et la destruction d'une petite quantité de haschich ainsi que d'une bouteille de liquide brûleur entamée. B. La Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre la décision de première instance, par jugement du 2 novembre 2015. La cour cantonale s'est fondée en substance sur les faits suivants. Le samedi 10 mars 2012, vers 20h15, à A._, X._ a été interpellé par la police au domicile de son épouse, dont il vivait séparé depuis le mois de décembre 2010. Il a été entendu par la gendarmerie et par le procureur, à la suite de la plainte déposée par son épouse, notamment pour menaces dirigées contre elle-même et leurs enfants mineurs. Il a été relaxé le dimanche 11 mars 2012 vers 13h15. Dès ce moment et jusqu'à 15h55, X._ a tenté de contacter téléphoniquement son épouse et deux de ses enfants à une quarantaine de reprises au total. Il s'est ensuite déplacé aux jardins familiaux de B._, où il a mis le feu au cabanon construit sur la parcelle louée par son épouse, lequel a été totalement détruit. Les parois des deux cabanons voisins ont en outre été noircies. X._ était porteur d'une petite quantité de haschich qu'il envisageait de donner à sa copine qui fumait. Le 27 juin 2012, vers 7h40, X._ circulait au volant de son véhicule automobile alors qu'il se trouvait sous l'influence de l'alcool. Sur la route d'Yverdon, à Romanel-sur-Lausanne, il a dépassé un autre automobiliste en empruntant une surface interdite au trafic. Environ 500 mètres plus loin, il a perdu la maîtrise de son véhicule et a traversé un îlot herbeux séparant les voies montante et descendante du Pont de Félezin, heurtant un véhicule utilitaire du Service des routes stationné à cet endroit. A la suite de cette embardée, X._ a fait demi-tour, franchissant ainsi la ligne de sécurité séparant les deux axes du trafic. Il s'est déplacé jusqu'à C._, où il affirme avoir bu deux petites gorgées de vodka. X._ a été soumis à une prise de sang, laquelle a révélé une alcoolémie d'au moins 1.28 g o/oo. B.a. X._ a fait l'objet de trois condamnations prononcées entre 2005 et 2011, notamment pour conduite en état d'ébriété, et cinq mesures administratives en matière de circulation routière, prononcées entre 2005 et 2014 pour des problèmes d'alcoolémie au volant. B.b. A teneur de l'expertise psychiatrique établie le 25 janvier 2013, X._ présentait une responsabilité moyennement restreinte au moment des faits. Souffrant notamment de séquelles de psychose infantile, de retard mental léger, d'utilisation d'alcool nocive pour la santé et présentant une structure et un fonctionnement de personnalité psychotique à traits paranoïaques et caractériels, X._ est vulnérable à la critique avec un risque de débordement émotionnel. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il n'est pas reconnu coupable des chefs d'infraction reprochés, qu'il est condamné à une peine pécuniaire modérée et que la bouteille de liquide brûleur lui est restituée. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvel arrêt et nouvelle instruction dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.