Faits : A. A._ travaillait comme maçon. Ayant été victime de deux accidents, les 18 décembre 2009 et 22 novembre 2012, qui lui ont occasionné une atteinte à l'épaule gauche (2009), puis à l'épaule droite (2012), son cas a été pris en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 1er mai 2013, l'assuré a requis des prestations de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Sur la base des pièces médicales tirées du dossier de l'assureur-accidents, notamment du rapport de la Clinique romande de réadaptation (CRR) du 7 août 2014, l'office AI a considéré que la capacité de travail de A._, limitée depuis le 18 décembre 2009, était à nouveau pleine et entière, dans toute activité adaptée, dès le 9 juillet 2014 (date de la fin du séjour de l'assuré à la CRR). Un projet de décision, daté du 15 juillet 2015, selon lequel le droit à une rente entière d'invalidité était reconnu pour la période du 1er novembre 2013 au 31 octobre 2014, a été transmis à l'assuré. Ce dernier en a contesté les termes, faisant valoir que sa situation n'était pas stabilisée. Par décision du 6 novembre 2015, l'office AI a confirmé la teneur de son projet et accordé à A._ une rente entière d'invalidité pour la période du 1er novembre 2013 au 31 octobre 2014. B. Statuant le 3 avril 2017 sur le recours formé par l'intéressé, qui contestait la stabilisation de son état de santé et faisait valoir que sa capacité résiduelle de travail avait été surévaluée, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, l'a rejeté. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au maintien de son droit à la rente au-delà du 31 octobre 2014.