Faits :
A.
A._ a déposé une nouvelle demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) le 29 mars 2011, après que plusieurs demandes antérieures ont été refusées. Par décision du 8 octobre 2012, l'office AI a derechef rejeté sa demande.
B.
B.a. L'assuré a déféré cette décision auprès du Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Se fondant sur les conclusions de l'expertise judiciaire psychiatrique qu'elle a fait réaliser, la juridiction cantonale a, par jugement du 28 avril 2015, admis le recours et réformé la décision litigieuse en ce sens que A._ avait droit à une rente entière d'invalidité à partir du 1 er mars 2006.
Saisi d'un recours de l'office AI, le Tribunal fédéral l'a partiellement admis. Il a annulé le jugement cantonal et renvoyé la cause à la juridiction cantonale pour nouvelle décision. Il a considéré qu'en ce qui concerne l'état de santé de l'assuré sur le plan physique, des divergences dans l'appréciation médicale avaient été relevées par le tribunal cantonal sans toutefois que ce dernier ne prît position, laissant ainsi la question des effets des pathologies somatiques sur la capacité de travail ouverte. Il convenait donc de renvoyer la cause à la juridiction de première instance afin qu'elle se déterminât sur les répercussions des atteintes physiques mises en évidence et se prononçât à nouveau sur le droit de A._ à une rente d'invalidité (arrêt 9C_365/2015 du 6 janvier 2016).
B.b. La Cour des assurances sociales du Tribunal cantonal a repris l'instruction. Par jugement du 9 septembre 2016, elle a admis le recours, annulé la décision du 8 octobre 2012 et renvoyé la cause à l'office AI pour instruction complémentaire avant nouvelle décision dans le sens des considérants.
C.
L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi du dossier au tribunal cantonal pour que ce dernier statue sur le droit à la rente de l'assuré après mise en oeuvre des mesures d'instruction qu'il jugera nécessaires. Il requiert également que l'effet suspensif soit octroyé au recours.
Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 136 I 42 consid. 1 p. 43).
1.2. Le recours en matière de droit public (art. 82 ss LTF) est recevable contre les décisions qui mettent fin à la procédure (art. 90 LTF). Le jugement cantonal attaqué - par lequel la cause est renvoyée à l'office recourant pour instruction complémentaire et nouvelle décision - constitue une décision incidente (ATF 139 V 99 consid. 1.3 p. 101 et l'arrêt cité) contre laquelle un recours au Tribunal fédéral n'est recevable que si elle peut causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b). Si le recours n'est pas recevable en vertu des al. 1 et 2 ou qu'il n'a pas été utilisé, la décision incidente reste attaquable au moyen d'un recours contre la décision finale dans la mesure où elle influe sur le contenu de celle-ci (art. 93 al. 3 LTF).
2.
L'office recourant demande à la Cour de céans d'entrer exceptionnellement en matière sur son recours, en se fondant sur un arrêt du Tribunal fédéral 8C_633/2014 du 11 décembre 2014 (admission exceptionnelle de l'existence d'un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF). Il invoque aussi l'art. 93 al. 1 let. b LTF, expliquant que l'admission de son recours pourrait conduire immédiatement à une décision finale de la part de l'autorité cantonale.
3.
3.1.
3.1.1. Un préjudice au sens de l'art. 93 al. 1 let. a LTF ne peut être qualifié d'irréparable que s'il cause un dommage de nature juridique qui ne peut pas être réparé ultérieurement par un jugement final ou une autre décision favorable au recourant (ATF 133 IV 139 consid. 4 p. 141). En revanche, un dommage de pur fait, comme la prolongation de la procédure ou un accroissement des frais de celle-ci, n'est pas considéré comme irréparable (ATF 131 I 57 consid. 1 p. 59 et les arrêts cités). C'est pourquoi un jugement de renvoi pour instruction complémentaire et nouvelle décision ne cause en principe pas de dommage irréparable à l'administration; le fait que celle-ci soit confrontée, lorsque le renvoi n'est pas justifié, à une charge de travail supplémentaire ou supporte, cas échéant, le risque que l'expertise administrative nouvellement mise en oeuvre ne soit pas considérée comme un moyen de preuve suffisant ne constitue pas un tel dommage (ATF 139 V 99 consid. 2.4 p. 103 et les arrêts cités; 133 V 477 consid. 5.2 p. 483). Ce principe de non-entrée en matière sur un recours formé contre une décision de renvoi souffre éventuellement une exception pour les cas où il s'avère que le tribunal procède de manière régulière au renvoi de la cause alors qu'il devrait lui-même mettre en oeuvre des mesures d'instruction (ATF 139 V 99 consid. 2.5 p. 104 et la référence citée; arrêt 8C_929/2014 du 13 avril 2015 consid. 4.4).
Il appartient au recourant, sous peine d'irrecevabilité, non seulement d'alléguer, mais aussi d'établir la possibilité que la décision incidente lui cause un dommage irréparable, à moins que celui-ci ne fasse d'emblée aucun doute (ATF 133 III 629 consid. 2.3.1 p. 632). Cela vaut en tout cas lorsque le recourant est représenté par un avocat ou lorsque la partie recourante est un assureur, comme c'est le cas en l'espèce (voir Hansjörg Seiler, Rückweisungsentscheide in der neueren Sozialversicherungspraxis des Bundesgerichts, in Sozialversicherungsrechtstagung 2008, 2009, p. 20 s.).
3.1.2. En l'occurrence, l'office recourant n'établit pas que le renvoi de la cause pour instruction complémentaire lui causerait, au sens de la jurisprudence précitée, un dommage irréparable, et on ne voit pas d'emblée que tel serait le cas. Il se prévaut ainsi en vain de l'ATF 137 V 210, puisque cet arrêt n'impose pas d'ouvrir la possibilité d'un recours immédiat contre une décision de la juridiction cantonale de renvoyer la cause à l'administration pour instruction complémentaire, comme il ressort de l'ATF 139 V 99 précité [qui confirme l'arrêt 8C_760/2011 du 26 janvier 2012 consid. 3; cf. consid. 2.4 in fine]. Il n'allègue par ailleurs pas que les premiers juges lui ont régulièrement renvoyé les causes portées devant leur juridiction de manière injustifiée. Contrairement à ce qu'il soutient ensuite, le cas d'espèce n'est pas comparable à celui qui a donné lieu à l'arrêt 8C_633/2014 cité (SVR 2015 IV n° 12 p. 33). Dans cette affaire, le Tribunal fédéral avait admis l'existence d'un préjudice irréparable au motif que la juridiction cantonale avait renvoyé la cause à l'office AI pour la seconde fois dans une procédure qui était pendante depuis plus de dix ans (consid. 2.2 de l'arrêt mentionné). En revanche, dans le cas d'espèce, cinq années se sont écoulées entre la demande de prestations déposée le 29 mars 2011 et la décision des premiers juges du 9 septembre 2016, ce qui n'apparaît pas inadmissible, dans un Etat de droit, au regard de la nature de la cause, de l'ensemble des circonstances et de la succession d'instances, cantonale et fédérale, saisies. Dès lors, les conditions d'admission d'un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF ne sont pas remplies.
3.2. Lorsqu'il allègue ensuite que l'admission de son recours pourrait conduire immédiatement à une décision finale de la part de l'autorité cantonale, l'office recourant ne saurait être suivi. En application de l'art. 93 al. 1 let. b LTF, il s'agit d'examiner si une décision finale pourrait être rendue non pas par la juridiction précédente mais par la juridiction fédérale. Dans le cas particulier, si la Cour de céans admettait le recours, elle ne pourrait pas immédiatement mettre fin à la procédure pendante au fond. Il lui incomberait, au regard des conclusions de l'office recourant, de renvoyer le dossier aux premiers juges afin qu'ils statuent sur l'éventuel droit de l'intimé à une rente d'invalidité après avoir mis en oeuvre les mesures d'instruction nécessaires. La première condition de l'art. 93 al. 1 let. b LTF n'est ainsi pas réalisée.
3.3. Quant à l'allégation d'un déni de justice sous la forme d'un refus de statuer, en lien également avec la durée de la procédure, le grief du recourant tombe à faux. Le tribunal cantonal a en effet statué, même si ce n'est pas dans le sens voulu par l'office recourant. Par ailleurs, comme on l'a vu, le simple allongement de la procédure en raison d'une mesure d'instruction complémentaire est un inconvénient de fait qui n'est pas propre, à lui seul, à causer un préjudice irréparable (supra consid. 3.1.1); l'office recourant ne rend par ailleurs pas vraisemblable que cet allongement entraînerait une violation du principe de la célérité, c'est-à-dire du droit du justiciable à ce qu'il soit statué sur son droit dans un délai raisonnable (cf. ATF 138 III 190 consid. 6 p. 191).
3.4. Au vu de ce qui précède, le recours est irrecevable.
4.
Vu l'issue du litige, la requête d'effet suspensif au recours est sans objet.
5.
Les frais judiciaires doivent être mis à la charge de l'office recourant qui succombe (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 décembre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
La Greffière : Flury