Faits : A. A._ travaillait en qualité de manutentionnaire au service de La Poste Suisse. Le 30 novembre 2004, il a subi un accident dans la halle de tri au cours duquel il s'est retrouvé coincé entre la glissière devant laquelle il travaillait et des chariots chargés de colis positionnés derrière lui. A._ a été conduit à l'Hôpital C._, où a été posé le diagnostic de contusion abdominale et lombaire sans fractures. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris en charge le cas, qui a entraîné une incapacité de travail du 30 novembre au 20 décembre 2004. Le 9 mai 2007, l'employeur a annoncé une rechute de l'accident à la CNA. Le docteur B._, médecin traitant de l'assuré, a déclaré que son patient souffrait de douleurs au dos et plus particulièrement inguinales (au pli de l'aine droit) intermittentes depuis l'accident de 2004, douleurs qui s'étaient exacerbées en 2005, et surtout depuis 2006, provoquant une boiterie. Mis en incapacité de travail à 100% à partir du 31 janvier 2007, puis à 50% dès le 19 février suivant, A._ a définitivement cessé de travailler le 28 août 2007. Le 27 novembre 2007, il a déposé une demande de prestations de l'assurance-invalidité. Après avoir recueilli divers rapports médicaux issus de l'instruction de la CNA et du docteur B._, l'Office de l'assurance-invalidité pour le canton de Vaud (office AI) a requis son Service médical régional (SMR) de procéder à un examen clinique rhumatologique et psychiatrique de l'assuré. Dans leur rapport du 18 décembre 2008, les doctoresses D._, spécialiste en physiatrie, et E._, psychiatre, ont posé les diagnostics, avec répercussion sur la capacité de travail, de syndrome lombaire avec irradiations pseudo-radiculaires droites dans le contexte d'un trouble statique et d'une discopathie L5-S1 avancée, ancienne maladie de Scheuermann et dysbalances musculaires (M.51.3/M42.0); parmi les diagnostics sans répercussion sur la capacité de travail, ces médecins ont fait état d'une majoration de symptômes physiques pour des raisons psychologiques (F.68); il n'y avait aucune atteinte psychique invalidante. La capacité de travail était nulle dans l'activité habituelle, mais entière depuis février 2007 dans une activité adaptée sans port de charges lourdes. De son côté, l'assuré, dont le contrat de travail avait été résilié par son employeur pour le 31 janvier 2009, a produit une expertise privée du docteur F._ qui a conclu à une incapacité de travail entière. Après avoir rendu un projet de décision du 7 avril 2009 rejetant la demande de prestations et pris connaissance des objections formulées par l'assuré à l'encontre de ce projet, l'office AI a refusé d'allouer une rente compte tenu d'un taux d'invalidité de 14% (décision du 9 février 2010). Entre-temps, la CNA a également refusé de prendre en charge la rechute annoncée (décision du 10 décembre 2007, confirmée sur opposition le 30 avril 2008). B. A._ a contesté la décision sur opposition de la CNA devant la Cour des assurances sociales du Tribunal cantonal vaudois (cause AA 60/08). Il a également recouru devant le même tribunal contre la décision de l'office AI en s'appuyant sur l'expertise judiciaire du docteur G._ (du 14 février 2010), ordonnée dans le cadre de la procédure de recours parallèle en matière d'assurance-accidents. Il faisait valoir que cet expert avait diagnostiqué un syndrome douloureux régional complexe de la hanche droite (SDRC), ce qui remettait en cause l'avis du SMR (cause AI 104/10). Par arrêt du 19 décembre 2011, le Tribunal fédéral, statuant sur le recours de l'assuré, a annulé le jugement cantonal rendu le 6 octobre 2010 dans la cause AA 60/08 qui confirmait la décision sur opposition de la CNA, et renvoyé l'affaire à la cour cantonale pour instruction complémentaire au sens des motifs et nouveau jugement (cause 8C_1019/2010). A la suite de cet arrêt, la cour cantonale a ordonné une surexpertise auprès du docteur H._, qui s'est notamment adjoint les services du docteur I._, psychiatre (voir leurs rapports respectifs des 24 juin et 25 septembre 2013). La procédure en matière d'assurance-invalidité a été suspendue jusqu'à droit connu sur celle relative à l'assurance-accidents. Par avis du 19 février 2015, la cour cantonale a repris la procédure AI et invité les parties à se déterminer sur les rapports des docteurs H._ et I._. Par jugement du 15 août 2016, elle a rejeté le recours de l'assuré contre la décision de l'office AI du 9 février 2010. Elle a également rejeté celui dirigé contre la décision sur opposition de la CNA (jugement du 14 juillet 2016). C. A._ a interjeté un recours en matière de droit public contre les jugements des 14 juillet 2016 et 15 août 2016. En matière d'assurance-invalidité, il conclut, principalement, à l'octroi d'une rente entière depuis le 31 janvier 2007 ou, sinon, à trois quarts de rente; subsidiairement, au renvoi de la cause au tribunal cantonal pour qu'il statue à nouveau dans le sens des considérants de l'arrêt fédéral à rendre. Il sollicite également le bénéfice de l'assistance judiciaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. D. Par arrêt de ce jour, le Tribunal fédéral a rejeté le recours dirigé contre le jugement du 14 juillet 2016 en matière d'assurance-accidents (cause 8C_534/2016).