Faits :
A.
Par arrêt du 3 mai 2016, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour violation simple des règles de la circulation routière à une amende de fr. 150.--, a rejeté sa prétention en indemnité et fixé à deux jours la peine privative de liberté de substitution en cas de non paiement fautif, le tout avec suite de frais.
B.
Par arrêt du 20 juillet 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a confirmé cette décision en retenant ce qui suit.
Le 17 juin 2015, à 8h15, X._ circulait au volant de son véhicule de livraison sur l'avenue A._, à Lausanne. Arrivé au pied de l'avenue B._, il s'est placé sur la présélection permettant aux usagers d'obliquer à gauche afin de s'engager sur l'avenue C._. Cette présélection impose aux usagers qui l'empruntent de porter d'abord leur attention sur les véhicules qui, en sens inverse, descendent l'avenue B._, dès lors que la signalisation réglant la circulation de ces derniers n'est pas visible pour les véhicules présélectionnés. Puis, après avoir dépassé la ligne blanche encadrant la présélection, les usagers doivent encore accorder la priorité aux piétons qui traversent l'avenue C._.
Ce jour-là, X._ a obliqué à gauche alors qu'il se trouvait sur la voie de présélection sans marquer de temps d'arrêt ni accorder la priorité aux usagers qui descendaient l'avenue B._, pour lesquels la signalisation venait de passer au vert. Ce faisant, il a entravé la course des véhicules circulant en sens inverse et, en particulier, a contraint un scootériste à effectuer un freinage d'urgence pour éviter une collision avec son véhicule.
C.
X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut, principalement, à l'annulation du jugement de la Cour d'appel pénale du Tribunal cantonal vaudois ainsi qu'à son acquittement et, subsidiairement, au renvoi de la cause à l'autorité cantonale pour nouvelle décision, le tout avec suite de frais et dépens. Il sollicite par ailleurs l'octroi de l'effet suspensif et le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral n'est pas une autorité d'appel devant laquelle les faits établis en dernière instance cantonale peuvent être librement rediscutés. Il est lié par les constatations de faits de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit, pour l'essentiel, de la prohibition de l'arbitraire (cf. sur la notion d'arbitraire: <ref-ruling> consid. 6.3 p. 375; <ref-ruling> consid. 3.4 p. 53; <ref-ruling> consid. 2.3 p. 266). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 2.4 p. 368). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 1.3.1 p. 253).
1.1. En l'espèce, le recourant soutient que la Cour d'appel pénale a violé le principe in dubio pro reo en fondant sa conviction sur le fait que le brigadier D._ aurait vu le comportement fautif du recourant, consistant à ne pas marquer de temps d'arrêt lorsqu'il était sur sa présélection, alors que, selon lui, il n'est pas certain que tel ait été le cas.
La Cour cantonale a tout d'abord retenu que le policier prénommé se trouvait, au moment des faits, sur la voie de droite de l'avenue B._, dans le sens de la descente. Il occupait la troisième place dans la file des véhicules à l'arrêt. Lorsque le feu est passé au vert, le brigadier D._ a vu le véhicule du recourant poursuivre sa route, malgré le démarrage des véhicules descendant l'avenue B._. Il a constaté que le recourant n'avait observé aucun temps d'arrêt sur la ligne de présélection. Il a également aperçu un scootériste contraint à faire un freinage d'urgence afin d'éviter la collision. La Cour cantonale relève que les déclarations du témoin ont été précises et constantes.
Le recourant soutient que les dires du témoin ne sont pas fiables puisqu'il a précisé qu'il n'était pas concentré sur ce qui se passait au-delà du feu. Les juges cantonaux ont écarté ce grief en indiquant qu'il fallait replacer cette phrase dans son contexte. En effet, le policier avait répondu à la question de savoir si un véhicule avait précédé celui du recourant lors de la manoeuvre de présélection. Dès lors, les juges cantonaux ont souligné que le fait que le brigadier D._ ne puisse pas répondre à cette question avec certitude ne permettait pas de mettre en doute ses déclarations précédentes.
La Cour d'appel pénale a également exposé de manière convaincante que la déclaration du témoin, sur le fait qu'il n'avait pas regardé les véhicules se trouvant sur la voie de gauche dans le sens de la descente, n'affaiblissait en aucune manière la portée de ses déclarations. En effet, comme l'a souligné la cour cantonale, cette allégation démontre que l'attention du policier était entièrement focalisée sur la manoeuvre fautive du recourant et le freinage du scootériste.
Le recourant prétend qu'une appréciation des faits favorable à l'accusé imposait de déduire des déclarations du brigadier D._ qu'il n'avait peut être pas été en mesure de voir la scène telle qu'elle s'était produite. Il fait ainsi simplement valoir sa propre appréciation des preuves de manière appellatoire et, partant, ce grief est irrecevable.
Enfin, le recourant soutient que le rapport de police est lacunaire, dans la mesure où il ne décrit pas précisément la faute commise, se contentant d'indiquer que le recourant n'a pas respecté l'ordre des priorités. Par cette affirmation, qui n'apporte aucun éclairage sur les faits de la cause, le recourant ne démontre pas que la décision cantonale serait manifestement insoutenable dans sa motivation comme dans son résultat.
1.2. En définitive, le recourant ne soulève aucun grief de nature à démontrer que la décision attaquée serait arbitraire, en tant qu'elle retient qu'il n'a pas observé un temps d'arrêt sur la ligne de présélection.
2.
Mal fondé, le recours doit être rejeté dans la faible mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Le recourant, qui succombe, devra supporter les frais (art. 66 al 1 LTF), dont le montant sera arrêté en tenant compte de sa situation financière. Enfin, le présent arrêt rend sans objet la requête d'effet suspensif.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 mars 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens