Faits :
A.
A._ travaille depuis 1985 en qualité de spécialiste en réadaptation auprès du Service spécialisé pour les handicapés de la vue. Son taux d'occupation a été réduit de 100 % à 80 % et depuis 1998 de 80 % à 70 %. Depuis novembre 2012, il travaille à 50 %. Son employeur a présenté une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) le 31 mai 2012, en invoquant que l'assuré souffrait de blocages psychiques probablement depuis 2010. L'office AI a obtenu des informations de la part de l'assureur perte de gain. Il a requis des renseignements supplémentaires auprès de l'employeur (questionnaire pour l'employeur complété le 17 juillet 2012) et a demandé l'avis du docteur B._, spécialiste en psychiatrie et psychothérapie ainsi que médecin traitant. Le praticien a posé les diagnostics de troubles de l'adaptation et personnalité anankastique. Il a constaté une capacité résiduelle de travail de 50 % dans toute activité (rapports des 28 juillet 2010, 23 novembre 2011 et 31 décembre 2012). L'office AI a fait réaliser une enquête économique sur le ménage. Après avoir retenu un statut d'actif à 80 % et de ménager à 20 %, l'enquêtrice a mis en évidence un taux d'empêchement de 19,3 % dans l'accomplissement des travaux habituels (rapport du 12 juin 2014).
Par décision du 19 septembre 2014, confirmée le 24 novembre suivant, l'office AI a rejeté la demande de prestations de l'assuré, au motif que le degré d'invalidité (34 %) était inférieur au degré minimum de 40 % ouvrant le droit à une rente.
B.
Par jugement du 31 mars 2016, la juridiction cantonale a rejeté le recours formé par A._ contre cette décision.
C.
L'assuré interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'octroi d'une demi-rente d'invalidité à partir du 1er novembre 2012. Il sollicite en outre l'octroi de l'assistance judiciaire pour la procédure fédérale.
L'office AI et l'Office fédéral des assurances sociales (OFAS) ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
2.1. L'objet du litige porte sur le droit du recourant à une rente d'invalidité. Il s'agit en particulier de déterminer quelle méthode d'évaluation de l'invalidité devait être appliquée par le tribunal cantonal. Le jugement entrepris expose de manière complète les règles légales et les principes jurisprudentiels applicables en l'espèce. Il suffit d'y renvoyer.
2.2. On rappellera que le choix de la méthode d'évaluation de l'invalidité est une question de droit sur laquelle le Tribunal fédéral se prononce librement (arrêts I 701/06 du 5 janvier 2007 consid. 3.2 et I 990/06 du 28 mars 2007 consid. 4.2; voir aussi arrêts 9C_385/2016 du 17 octobre 2016 consid. 2 et 9C_926/2015 du 17 octobre 2016 consid. 1.2). Toutefois, la constatation du statut (comme personne sans invalidité), c'est-à-dire le point de savoir si et dans quelle mesure l'assuré aurait exercé une activité lucrative, relève d'une question de fait (arrêt 9C_3/2016 du 10 octobre 2016 consid. 1.2).
3.
La juridiction cantonale a retenu que l'évaluation de l'invalidité devait se faire selon la méthode mixte, étant donné que sans invalidité le recourant aurait consacré 80 % de son temps à son activité professionnelle et 20 % aux tâches ménagères. Ce constat était corroboré par les déclarations faites par l'assuré à l'enquêtrice. A l'instar de l'office intimé, elle a conclu à un degré d'invalidité inférieur au degré minimum de 40 % (37,6 %) et a par conséquent nié le droit à une rente d'invalidité.
4.
Le recourant ne remet pas en cause la capacité résiduelle de travail de 50 % retenue par les premiers juges. Le fait que l'atteinte à la santé soit survenue en 2010 n'est pas contesté non plus. Il reproche en revanche à la juridiction cantonale de lui avoir reconnu un statut de ménager et d'avoir violé le droit fédéral en appliquant la méthode mixte d'évaluation de l'invalidité. Il soutient que dans la mesure où la réduction de son taux d'activité avait uniquement pour but de disposer de temps libre pour pratiquer ses hobbys et non de se consacrer aux activités ménagères, la méthode ordinaire de comparaison des revenus devait être appliquée, lui ouvrant ainsi le droit à une demi-rente, voire à un quart de rente.
5.
5.1. C'est effectivement à tort que les premiers juges ont choisi d'appliquer la méthode mixte d'évaluation de l'invalidité. Se fondant sur le rapport d'enquête économique sur le ménage du 12 juin 2014, ils ont constaté que le recourant avait diminué son taux d'activité de 100 à 80 % par choix, afin de pratiquer ses hobbys (planche à voile, voyage en moto, snowboard et ski); en effet, avant l'atteinte à la santé survenue en 2010, il avait travaillé à 80 puis à 70 % depuis janvier 1998. Toutefois, selon la jurisprudence fédérale, le fait qu'une personne non atteinte dans sa santé décide de travailler à temps partiel est sans influence sur le choix de la méthode d'évaluation de l'invalidité - et dès lors n'entraîne pas l'application de la méthode mixte -, sauf si cette personne consacre à ses travaux habituels le temps libre supplémentaire dont elle dispose. Si un assuré, en mesure sur le plan de la santé d'exercer une activité lucrative à plein temps, décide de son propre gré de réduire son horaire de travail pour s'accorder plus de loisirs, l'assurance-invalidité n'a pas à intervenir. Les activités de loisirs sont ainsi exclues de la définition des travaux habituels (<ref-ruling> consid. 5.1.2 et 5.2 pp. 53 et 54, précisé par l'<ref-ruling> consid. 7). Par ailleurs, dans son mémoire de recours, l'assuré insiste sur le fait qu'il avait réduit son taux d'activité "uniquement pour pouvoir pratiquer du sport et non pour vaquer à ses activités ménagères". Les premiers juges ne pouvaient donc pas retenir qu'il aurait consacré, s'il n'avait pas été invalide, 20 % de son temps libre aux travaux ménagers et ainsi calculé un taux d'invalidité supplémentaire pour cette activité. La méthode générale de comparaison des revenus était applicable pour procéder au calcul du taux d'invalidité, et non la méthode mixte.
5.2. Lors de l'évaluation de l'invalidité, le tribunal cantonal a commis une deuxième erreur concernant la détermination du revenu sans invalidité. Il s'est fondé notamment sur un salaire correspondant à un taux d'occupation de 80 % au lieu de 70 %. Il s'est en effet référé au revenu perçu par le recourant en 2011 (5'399 fr. 65), pour un taux de 80 %, alors qu'il ressortait manifestement des pièces à sa disposition (notamment du questionnaire pour l'employeur complété le 17 juillet 2012) que l'assuré travaillait à 70 % déjà depuis 1998, donc bien avant la survenance de l'atteinte à la santé. Le dernier salaire perçu en tant que valide, en août 2010, s'élevait à 5'372 fr. 60 (juillet 2010), ce qui correspond à un montant annuel brut de 69'843 fr. 80 (5'372 fr. 60 x 13) et de 70'598 fr. 10 après indexation à 2012. En retenant un salaire sans invalidité calculé sur une activité de 80 % au lieu de 70 %, les premiers juges ont procédé à une appréciation des faits qui, au regard de la méthode générale de comparaison des revenus, est entachée d'une erreur de fait manifeste, laquelle peut être corrigée d'office en application de l'<ref-law> (supra consid. 2.2). C'est ainsi qu'il convient d'adapter le revenu sans invalidité retenu par la juridiction cantonale et de se fonder sur le montant de 70'598 fr. 10.
5.3. Le revenu d'invalide n'est quant à lui pas contesté; il s'élève à un montant de 46'397 fr. (3'569 x 13).
5.4. Il résulte de la comparaison de ces deux revenus (46'397 fr. / 70'598 fr. 10) un taux d'invalidité de 34,28 % (arrondi à 34 %), inférieur au minimum légal de 40 %. L'assuré n'a ainsi pas droit à une rente d'invalidité. Si le tribunal cantonal a obtenu un degré d'invalidité différent (37,6 %), il a conclu néanmoins au refus de la rente. Le jugement entrepris doit donc être confirmé dans son résultat. Mal fondé, le recours est rejeté.
6.
Vu l'issue du litige, les frais judiciaires sont mis à la charge de l'assuré (art. 66 al. 1 première phrase LTF). Il a cependant déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires et à la désignation d'un avocat d'office. Dès lors que les conditions d'octroi en sont réalisées (<ref-law>), l'assistance judiciaire lui est accordée. Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la Caisse du Tribunal fédéral s'il retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est accordée pour la procédure devant le Tribunal fédéral et M e Karim Hichri est désigné comme avocat d'office.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2'800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 10 février 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Flury