Faits :
A.
A._ travaillait comme directeur, conducteur de travaux et chef de chantier. Le 3 février 2014, il a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) en raison de problèmes lombaires présents depuis mars 2013.
Le 23 juillet 2014, à l'issue d'un bilan de compétences, l'administration a accepté de prendre en charge un complément de formation sous la forme de cours de français, devant avoir lieu deux fois par semaine de 12h00 à 13h30, du 12 août au 19 décembre 2014. Elle a également octroyé à l'intéressé des indemnités journalières pour la durée de cette mesure.
Dans un projet de décision du 21 août 2014, qui annulait et remplaçait la communication du 23 juillet 2014, l'office AI a informé A._ qu'à la suite d'une nouvelle analyse de la situation, il considérait l'activité de chef de chantier comme exigible à 100 % et entendait par conséquent nier le droit à des mesures professionnelles et à des indemnités journalières, tout en maintenant la prise en charge des cours de français. Par décision du 22 octobre 2014, l'office AI a demandé la restitution des indemnités journalières déjà versées pour la période du 12 août au 30 septembre 2014.
Le 30 octobre 2014, l'assuré a demandé à l'administration de reconsidérer son projet de décision. Le 9 janvier 2015, il l' a informée avoir repris une activité professionnelle adaptée à son état de santé, à 50 %.
Par décision du 21 mai 2015, l'office AI a maintenu sa position, considérant que l'activité habituelle était exigible à 100 %; il a nié le droit de l'assuré à des mesures professionnelles et à des indemnités journalières, la mesure relative au cours de français étant maintenue.
B.
A._ a formé recours au Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Il a conclu à la reconnaissance de son droit à des indemnités journalières en relation avec la mesure de réadaptation maintenue.
Par jugement du 14 juin 2016, le tribunal cantonal a admis le recours et réformé la décision rendue le 21 mai 2015 en ce sens que l'assuré avait droit à des indemnités journalières durant le cours de français suivi du 12 août au 19 décembre 2014.
C.
L'office AI interjette un recours en matière de droit public contre ce jugement. Il en demande l'annulation et conclut à la confirmation de sa décision du 21 mai 2015. Il sollicite également l'octroi de l'effet suspensif.
L'assuré conclut au rejet du recours. L'Office fédéral des assurances sociales se prononce en faveur de son admission.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées (cf. <ref-law>).
2.
Le litige a trait au droit de l'assuré à des indemnités journalières pour la période du 12 août au 19 décembre 2014, durant laquelle il a suivi une mesure de réadaptation sous la forme d'un cours de français intensif.
3.
Aux termes de l'<ref-law>, l'assuré a droit à une indemnité journalière pendant l'exécution des mesures de réadaptation prévues à l'<ref-law> si ces mesures l'empêchent d'exercer une activité lucrative durant trois jours consécutifs au moins ou s'il présente, dans son activité habituelle, une incapacité de travail de 50 % au moins. Selon la jurisprudence, les mesures de réadaptation doivent avoir lieu pendant trois jours consécutifs au moins même en relation avec la deuxième hypothèse de l'<ref-law> (<ref-ruling> consid. 2c p. 17; <ref-ruling> consid. 7 p. 406). L'<ref-law> charge le Conseil fédéral de fixer les conditions auxquelles des indemnités journalières peuvent être allouées pour des jours isolés. L'art. 17 bis RAI, adopté sur la base de cette délégation de compétence, prévoit que l'assuré qui se soumet à une mesure de réadaptation durant trois jours isolés au moins au cours d'un mois a droit à une indemnité journalière: a. pour chaque jour de réadaptation durant lequel il est toute la journée empêché d'exercer une activité lucrative par la mesure de réadaptation; b. pour chaque jour de réadaptation et pour les jours se situant dans l'intervalle s'il présente, dans son activité habituelle, une incapacité de travail de 50 % au moins.
4.
Le tribunal cantonal a relevé que l'office recourant ne remettait pas en question le droit à la mesure de réadaptation elle-même - les cours de français -, mais seulement le droit aux indemnités journalières octroyées pour la durée de celle-ci. Il a retenu que, comme le cours de français était organisé de 12h00 à 13h30, l'assuré n'était pas empêché d'exercer une activité lucrative toute la journée (art. 17 bis let. a RAI). En revanche, celui-ci présentait une incapacité de travail totale dans son activité habituelle, attestée par l'ensemble des avis médicaux au dossier, de telle sorte qu'il avait droit à des indemnités journalières pour chaque jour de réadaptation et pour les jours se situant dans l'intervalle en vertu de l'art. 17 bis let. b RAI.
5.
L'office recourant reproche à la juridiction cantonale d'avoir interprété de manière incorrecte l'art. 17 bis let. b RAI. Selon lui, l'éventuelle incapacité de travail de l'intimé dans son activité habituelle n'était dans tous les cas pas décisive. Il suffisait de constater que l'intimé n'était pas empêché d'exercer une activité lucrative, puisque les cours de français étaient organisés de 12h00 à 13h30 deux fois par semaine.
6.
Le grief de l'office recourant est bien fondé. Selon les constatations de la juridiction cantonale - qui ne sont pas contestées par les parties (supra consid. 1) -, les cours de français correspondant à la mesure de réadaptation avaient eu lieu pendant une heure et demie deux fois par semaine. De manière incontestée, leur durée ne correspondait pas à trois jours consécutifs au moins, de telle sorte que les conditions de l'<ref-law> ne sont pas réunies.
L'octroi d'indemnités journalières ne peut pas non plus être fondé sur l'art. 17 bis RAI, qui exige que l'assuré se soumette à une mesure de réadaptation durant au moins trois jours isolés au cours d'un mois. Cette durée n'est pas atteinte au regard des heures quotidiennes de cours suivis par l'intimé, qui s'élevaient à bien moins qu'une demi-journée (cf. arrêt 9C_631/2015 du 21 mars 2016, consid. 4.4). En outre, la jurisprudence retient que l'assuré n'a pas le droit au paiement d'indemnités journalières lorsque la mesure de reclassement est prévue sous la forme de cours effectués en dehors des heures usuelles de travail (<ref-ruling> consid. 7.2 p. 406). La formation en cause, organisée entre 12h00 et 13h30, ne peut par conséquent donner lieu à l'octroi d'indemnités journalières. Aussi, le jugement entrepris doit-il être annulé et la décision du 21 mai 2015 confirmée.
7.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de l'intimé (<ref-law>). Le présent arrêt rend par ailleurs sans objet la demande d'effet suspensif.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. La décision du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 14 juin 2016 est annulée et la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 21 mai 2015 confirmée.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
La cause est renvoyée au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, pour nouvelle décision sur les frais et dépens de la procédure antérieure.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 janvier 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Hurni