Faits: A. A.a. A._, ressortissant de U._, s'est installé en Suisse en 1981. Il a d'abord travaillé dans l'hôtellerie puis en qualité d'aide-charpentier au service de la société B._ SA du 1 er décembre 1988 au 5 mai 2003, date à laquelle il a été mis en arrêt de travail pour maladie. Il n'a pas repris d'activité lucrative depuis lors et a présenté une demande de prestations de l'assurance-invalidité le 11 février 2004. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a rendu une décision, le 30 mai 2008, par laquelle il a accordé à l'assuré une rente entière d'invalidité du 1 er mai 2004 au 31 janvier 2005. Se fondant sur un rapport rendu le 24 juillet 2006 par les médecins de son Service médical régional (SMR), qui ont notamment exclu toute atteinte sur le plan psychique, l'administration a considéré en bref que l'intéressé disposait d'une capacité de travail entière dans une activité adaptée à partir du mois d'octobre 2004, de sorte qu'il ne subissait qu'une perte de gain d'un taux insuffisant (18 %) pour maintenir le droit à la prestation (courrier à l'assuré du 26 mars 2008). A.b. Le 2 février 2010, A._ a à nouveau requis des prestations de l'assurance-invalidité. Après avoir recueilli les avis du médecin traitant de l'assuré, le docteur C._, généraliste, et de son psychiatre traitant, le docteur D._, spécialiste FMH en psychiatrie et psychothérapie, qui a diagnostiqué une schizophrénie simple (rapport du 4 février 2010), l'office AI a confié une expertise psychiatrique au docteur E._, spécialiste FMH en psychiatrie et psychothérapie. Ce médecin, qui s'est entretenu avec A._ avec l'aide d'une interprète en langue serbo-croate, a conclu que l'assuré souffrait d'un épisode dépressif depuis 2003, de degré actuellement léger, qui n'entraînait pas de diminution de la capacité de travail; le diagnostic de schizophrénie simple ne pouvait être retenu (rapport du 4 avril 2011). Fort de ces conclusions, l'office AI a informé l'intéressé, le 3 octobre 2011, qu'il entendait rejeter sa demande. A._ a contesté le projet de décision, en produisant l'avis du docteur C._ (du 23 décembre 2011) et le rapport établi le 2 janvier 2012 par le docteur D._ et le psychologue-psychothérapeute G._. Par décision du 1 er juin 2012 (faussement datée du 14 novembre 2011), l'office AI a rejeté la demande de prestations. B. Saisi d'un recours formé par A._ contre cette décision, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, l'a rejeté par arrêt du 1 er novembre 2013. C. A._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il conclut principalement à la réforme de celui-ci, en ce sens que lui soit reconnu le droit à des prestations de l'assurance-invalidité, notamment sous forme de rente. A titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la Cour des assurances sociales du Tribunal cantonal vaudois pour qu'elle ordonne une expertise psychiatrique judiciaire. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.