Faits :
A.
Par jugement du 26 novembre 2015, le Tribunal de police de l'arrondissement de l'Est vaudois a constaté que X._ s'était rendu coupable de tentative de vol, dommages à la propriété et violation de domicile. Il l'a condamné à une peine privative de liberté de 2 mois, sous déduction de 2 jours de détention avant jugement, peine complémentaire à celle prononcée le 4 avril 2015 par le Ministère public du canton de Genève.
B.
Par jugement du 14 avril 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._.
La Cour d'appel pénale a retenu que, dans la nuit du 25 au 26 mars 2015, X._ avait pénétré par effraction dans un cabinet médical sis dans un immeuble situé à A._, en brisant la vitre d'une fenêtre avec une pierre. Il avait ensuite fouillé les lieux, puis était reparti sans rien dérober. X._ a avoué lors de son audition devant le procureur le 29 juillet 2015 avoir tenté de pénétrer par effraction dans une villa à A._ pour y commettre un vol quelque huit mois auparavant.
Le casier judiciaire de X._ comporte six inscriptions. Il a été condamné le 16 janvier 2015 par le Ministère public du canton de Berne à une peine pécuniaire de 80 jours-amende à 20 fr. avec sursis pendant deux ans (révoqué le 04.04.2015) et à une amende de 200 fr., le 6 février 2015 par le Ministère public du canton de Fribourg à une peine pécuniaire de 20 jours-amende à 20 fr. avec sursis pendant deux ans (révoqué le 04.04.2015), le 30 mars 2015 par le Ministère public du canton de Fribourg à une peine pécuniaire de 10 jours-amende à 20 fr. avec sursis pendant quatre ans et à une amende de 300 fr., le 4 avril 2015 par le Ministère public du canton de Genève à une peine privative de liberté de 60 jours, le 6 mai 2015 par le Ministère public du canton de Fribourg à une peine pécuniaire de 10 jours-amende à 20 fr. avec sursis pendant cinq ans et à une amende de 100 fr. et le 19 juin 2015 par le Tribunal de police de Genève à une peine pécuniaire de 40 jours-amende à 30 fr. avec sursis pour une durée de trois ans. Les infractions retenues par ces autorités sont principalement des infractions contre le patrimoine (vols, tentative de vol, dommages à la propriété, violation de domicile, recel).
C.
Agissant par la voie du recours en matière pénale auprès du Tribunal fédéral, X._ conclut, avec suite de frais et dépens, à la réforme du jugement du 14 avril 2016 en ce sens qu'il est condamné à une peine pécuniaire de 90 jours-amende à 20 fr. le jour, peine complémentaire à celle prononcée le 4 avril 2015. Subsidiairement, il conclut à une peine privative de liberté de deux mois, sous déduction de deux jours de détention avant jugement, peine complémentaire à celle prononcée le 4 avril 2015, assortie d'un sursis pendant un délai d'épreuve de quatre ans.

Considérant en droit :
1.
Le recourant s'en prend à la nature de la peine prononcée et estime qu'il devrait être sanctionné par une peine pécuniaire. Il fait valoir que plusieurs éléments relatifs à sa situation personnelle ont été ignorés.
1.1. Les règles générales régissant la fixation de la peine (<ref-law>) ont été rappelées dans les arrêts publiés aux <ref-ruling> et 136 IV 55, auxquels on peut se référer. La fixation d'une peine complémentaire, régie par l'<ref-law> en cas de concours rétrospectif, n'est possible que pour des peines du même genre, alors que des peines d'un genre différent doivent être prononcées cumulativement (<ref-ruling> consid. 2.3.2 p. 267 s.).
Le recourant ne saurait conclure à ce que la peine pécuniaire requise à titre principal, en lieu et place d'une peine privative de liberté, soit une peine complémentaire à la peine privative de liberté prononcée le 4 avril 2015 par le Ministère public genevois, les deux peines étant d'un genre différent. Au surplus, le recourant ne discute ni la quotité de la peine privative de liberté prononcée ni le caractère complémentaire de cette peine à celle du 4 avril 2015. Il conclut du reste à titre subsidiaire au prononcé d'une peine privative de liberté de même durée au titre de peine complémentaire. Dépourvue de toute critique sur ces deux points, la cause ne sera pas examinée sous ces angles (<ref-law>).
1.2. Aux termes de l'<ref-law>, le juge peut prononcer une peine privative de liberté ferme de moins de six mois uniquement si les conditions du sursis à l'exécution de la peine (<ref-law>) ne sont pas réunies et s'il y a lieu d'admettre que ni une peine pécuniaire, ni un travail d'intérêt général ne peuvent être exécutés.
Dans la conception de la partie générale du code pénal, la peine pécuniaire constitue la peine principale. Les peines privatives de liberté ne doivent être prononcées que lorsque l'Etat ne peut garantir d'une autre manière la sécurité publique. En vertu du principe de la proportionnalité, il y a lieu, en règle générale, lorsque plusieurs peines entrent en considération et apparaissent sanctionner de manière équivalente la faute, de choisir celle qui restreint le moins sévèrement la liberté personnelle de l'intéressé, respectivement qui le touche le moins durement. L'intention essentielle au coeur de la révision de la partie générale du Code pénal en matière de sanction était d'éviter les courtes peines de prison ou d'arrêt, qui font obstacle à la socialisation de l'auteur, et de leur substituer d'autres sanctions. Pour choisir la nature de la peine, le juge doit prendre en considération l'opportunité de la sanction déterminée, ses effets sur l'auteur et son milieu social, ainsi que son efficacité préventive (<ref-ruling> consid. 4 p. 100 ss; arrêt 6B_1100/2014 du 14 octobre 2015 consid. 6.1; arrêt 6B_709/2013 du 27 janvier 2014 consid. 2).
1.3. L'examen des conditions de l'octroi ou non du sursis, première condition posée par l'<ref-law>, s'examine selon les critères de l'<ref-law> qui ont été rappelés dans l'arrêt publié aux <ref-ruling> consid. 2.1 p. 185 s., auquel il est renvoyé.
Le recourant est pour le moins incohérent lorsqu'il prétend remplir les conditions du sursis pour le prononcé d'une peine privative de liberté et conclut néanmoins à l'octroi d'une peine ferme en cas de condamnation à une peine pécuniaire. En tout état de cause, il sera relevé qu'il a déjà été condamné à plusieurs reprises notamment pour des chefs d'infraction identiques à ceux retenus dans la présente cause sans effet dissuasif, puisqu'il a persisté dans son comportement délictueux. Au vu des nombreuses condamnationsen question, le pronostic ne peut être que défavorable. Le recourant invoque sa situation familiale et son emploi. Ces éléments ne sauraient toutefois renverser le pronostic, qui reste défavorable au vu de la propension du recourant à commettre des infractions.
1.4. Quant au choix de la peine, le reco urant, qui co nclut à la fixation d'une peine pécuniaire, ne tente pas de démontrer qu'il remplirait les conditions permettant de lui infliger un travail d'intérêt général, qu'il ne demande pas expressément (<ref-law>). Au sujet de l'exécution d'une peine pécuniaire, il y a lieu de relever, comme le retient la cour cantonale, que le recourant n'a tiré aucune leçon de ses précédentes condamnations, manifestant son incapacité à respecter la loi. Au vu de ces éléments, force est de constater le défaut d'efficacité préventive des peines pécuniaires précédemment prononcées. Or, lorsque des motifs de prévention spéciale permettent de considérer qu'une peine pécuniaire ou une peine de travail d'intérêt général seraient d'emblée inadaptées (arrêt 6B_889/2015 du 30 mai 2016 consid. 4.3), l'autorité peut prononcer une peine privative de liberté de courte durée.
1.5. Compte tenu de ce q ui précède, le prononcé d'une peine privative de liberté est la seule sanction qui entre en considération. Son prononcé ne viole pas le droit fédéral.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr. sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 février 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens