Faits : A. A._, né en 1969, a travaillé en tant que conseiller d'assurances pour le compte de la société B._ SA du 1 er décembre 2007 au 31 juillet 2008. En raison d'une incapacité de travail médicalement attestée dès le 11 juillet 2008, il a déposé une demande de prestations de l'assurance-invalidité au mois de juin 2010. Entre autres mesures d'instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a diligenté une expertise auprès du docteur C._, spécialiste en psychiatrie et psychothérapie, qui n'a retenu aucun diagnostic incapacitant (rapport du 4 juillet 2011). Pour sa part, l'assuré a notamment produit une expertise du docteur D._, spécialiste en psychiatrie et psychothérapie (rapport du 6 février 2012). L'expert a posé les diagnostics de trouble dépressif récurrent, épisode actuel moyen à sévère (F33.2), et de troubles mixtes de la personnalité associant des traits narcissiques et de personnalité de type état limite (F61.0). Il a conclu à une capacité de travail nulle depuis au moins 2008. Par décision du 23 octobre 2014, l'office AI a nié le droit de l'assuré à une rente d'invalidité, ainsi qu'à un reclassement. B. Saisi d'un recours de A._ contre cette décision, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a notamment ordonné une expertise auprès du docteur E._, spécialiste en psychiatrie et psychothérapie. L'expert a conclu à une pleine capacité de travail dans toute activité depuis 2008 (rapport du 13 octobre 2016). Par jugement du 12 juin 2019, la juridiction cantonale a rejeté le recours. C. A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation ainsi que celle de la décision du 23 octobre 2014. Il conclut au renvoi de la cause à la juridiction cantonale, subsidiairement à l'office AI, pour la mise en oeuvre d'une nouvelle expertise et nouvelle décision.