Faits : A. Par jugement du 9 octobre 2019, le Tribunal de police de l'arrondissement de Lausanne a reconnu A._ coupable d'escroquerie et l'a condamné, outre aux frais de la procédure, à une peine pécuniaire de 30 jours-amende à 30 fr. le jour, assortie du sursis pendant deux ans. B. Statuant le 28 janvier 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel de A._. Elle l'a condamné à une peine pécuniaire de 15 jours-amende à 30 fr. le jour, assortie du sursis pendant deux ans. La cour cantonale a libéré A._ d'une partie des faits fondant le chef de prévention d'escroquerie. La cour cantonale a notamment retenu les faits suivants. A._ a travaillé en qualité d'agent de sécurité au sein de l'entreprise B._ entre 2010 et 2014. Au bénéfice des prestations du revenu d'insertion, il n'a pas annoncé au Centre social régional de C._ (ci-après: CSR) l'existence d'un compte épargne ouvert à son nom auprès de la Banque D._. En mai 2012, il a annoncé avoir perçu un salaire de l'entreprise B._, pour le mois d'avril 2012, de 448 fr. 95 et a produit une fiche de salaire pour ce montant correspondant à ce qu'il avait gagné en avril 2011. Il a en réalité perçu sur son compte de chèque postal - déclaré auprès du CSR - le montant de 1'310 fr. 95. En décembre 2012, il a annoncé n'avoir perçu aucun salaire alors qu'il a reçu une rémunération de 2'584 fr. 10 de la part de l'entreprise B._ sur son compte de chèque postal, percevant ainsi un montant indu de 2'133 francs. En janvier 2013, il a annoncé avoir perçu un salaire de l'entreprise B._, pour décembre 2012, de 1'236 fr. 05 et a produit un justificatif pour ce montant correspondant à ce qu'il avait gagné en décembre 2011. Il a, en réalité, perçu sur le compte ouvert auprès de la Banque D._ - non déclaré auprès du CSR - le montant de 3'334 fr. 15. La Direction des sports et de la cohésion sociale, Service social de la Ville de C._, a porté plainte le 3 juillet 2018. C. A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement précité. Il conclut, avec suite de frais et dépens, à sa réforme, en ce sens qu'il est acquitté du chef d'escroquerie, subsidiairement, qu'il est exempté de toute peine. Par ailleurs, il requiert l'octroi de l'assistance judiciaire.