Faits :
A.
A._, carreleur de profession, a déposé une demande de prestations auprès de l'Office cantonal AI du Valais (ci-après: l'office AI) le 26 août 2008. Se fondant sur l'avis de son Service médical régional (SMR; rapport final du 8 janvier 2010), l'office AI a octroyé à l'assuré des mesures d'orientation professionnelles (communication du 12 janvier 2010). A la suite de l'interruption le 22 octobre 2012 d'une formation en cours au centre B._ (rapport d'observation du 19 novembre 2012), l'office AI a repris l'instruction au niveau médical (rapport du 4 décembre 2012) et requis des informations auprès du docteur C._ (rapport du 27 décembre 2012). Il a proposé différentes formations à A._ (courrier du 29 janvier 2013), que ce dernier a refusées. L'assuré a demandé de pouvoir entreprendre une formation de technicien dentiste (courrier du 14 février 2013). Une place de stage lui a été trouvée du 29 avril au 26 mai 2013 (communication du 29 avril 2013), malgré les réserves émises par l'office AI lors de l'entretien du 8 avril 2013 au sujet du maintien d'une capacité de gain suffisante dans une telle activité (rapport intermédiaire du 1 er mai 2013). L'administration a renoncé à financer le coût de la formation en question (courrier du 11 juillet 2013).
Pour les périodes où il n'était pas en formation mais en incapacité de travail, A._ a requis le versement d'indemnités journalières (courriers des 23 octobre et 3 décembre 2013). Par décision du 4 septembre 2014, confirmant le projet de décision du 4 juin précédent, l'office AI lui a accordé le droit à une indemnité journalière pour la période du 23 octobre au 25 novembre 2012 et le lui a refusé pour les périodes du 26 novembre 2012 au 28 avril 2013 et du 27 mai au 9 septembre 2013, en l'absence de projet professionnel.
B.
Par jugement du 26 février 2016, la juridiction cantonale a partiellement admis le recours de l'assuré en ce sens que le droit de A._ à l'indemnité journalière est reconnu du 23 octobre au 25 novembre 2012, refusé du 26 novembre 2012 au 28 avril 2013 et accordé du 27 mai au 9 septembre 2013.
C.
L'assuré interjette un recours en matière de droit public contre ce jugement dont il requiert la modification du dispositif en ce sens qu'il est mis au bénéfice de l'indemnité journalière du 26 novembre 2012 au 28 avril 2013.
L'office AI a proposé le rejet du recours tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le litige porte sur le droit du recourant au versement d'indemnités journalières par l'office intimé pour la période d'attente du 26 novembre 2012 au 28 avril 2013. Le jugement entrepris expose de manière complète les dispositions légales et les principes jurisprudentiels applicables au versement des indemnités journalières pendant le délai d'attente d'une formation professionnelle.
3.
Les premiers juges ont constaté qu'après la formation, interrompue le 22 octobre 2012 pour des raisons médicales, dans le domaine du montage en tableaux électriques, l'assuré avait souhaité effectuer une formation de technicien-dentiste. Ils ont d'une part relevé la volonté d'investissement dont avait fait preuve le recourant mais ont d'autre part retenu que cette activité n'apparaissait pas objectivement indiquée, dans la mesure où elle ne permettait pas de retrouver une capacité de gain équivalente ou à tout le moins proche de celle avant l'atteinte à la santé. Ils ont précisé que lors de l'entretien du 8 avril 2013, l'office intimé avait émis des réserves sur la faisabilité de cette formation (rapport intermédiaire du 1er mai 2013). Ils ont constaté que même si l'office intimé avait admis la prise en charge du stage d'observation (du 29 avril au 26 mai 2013), il avait refusé de financer la formation correspondante (courrier du 11 juillet 2013). Par conséquent, la mesure n'étant pas objectivement indiquée, ils ont considéré que l'office intimé avait à juste titre refusé le versement d'indemnités journalières d'attente pour la période concernée.
4.
4.1. Le recourant reproche en substance à la juridiction cantonale d'avoir nié son droit à des indemnités journalières durant la période d'attente du 26 novembre 2012 au 28 avril 2013.
4.2. En l'occurrence, il apparaît que la juridiction cantonale a occulté le fait que la capacité de l'assuré à être réadapté n'avait pas été remise en cause après l'interruption, le 22 octobre 2012, de la formation en cours au Centre B._. Même si l'office intimé avait repris l'instruction médicale (réactualisation des informations médicales et établissement d'une ultime liste d'activités adaptées; rapport intermédiaire du 4 décembre 2012), il en était résulté une situation identique, soit la possibilité pour le recourant d'être réadapté. En outre, on ne peut pas reprocher à ce dernier d'avoir manqué de volonté ni d'avoir retardé la mise en oeuvre des mesures de réadaptation. En effet, conformément à ce qu'ont retenu les premiers juges, la formation au Centre B._ avait été interrompue, le 22 octobre 2012, indépendamment de la volonté de l'assuré. A la suite de cet échec, le recourant avait cherché une nouvelle option et avait finalement souhaité commencer une formation de technicien-dentiste (courrier du 14 février 20143). Face à cette requête de l'assuré, le comportement de l'office intimé aurait dû apparaître contradictoire aux yeux des premiers juges. L'administration a décidé de prendre en charge le stage du 29 avril au 26 mai 2013 alors qu'elle avait précédemment émis des réserves en mentionnant qu'il serait difficile dans ce domaine professionnel de retrouver une capacité de gain équivalente à celle qui prévalait avant son atteinte à la santé. Finalement, l'office intimé a refusé le remboursement des frais de la formation qui aurait dû être mise en place à la suite du stage. Dans ces circonstances, on aurait pu attendre de l'administration qu'elle refuse toute mesure de réadaptation dans l'activité de technicien-dentiste dès la réception du courrier du 14 février 2013 ou à tout le moins à la suite de l'entretien du 8 avril 2013 au lieu de faire attendre inutilement l'assuré. L'office intimé avait en effet les moyens de se déterminer plus tôt sur l'adéquation de cette activité dans la mesure où il était question de la capacité de gain et non pas de la compatibilité de la formation envisagée d'un point de vue médical qui n'avait effectivement pu être évaluée qu'après un stage. Ce n'est pourtant qu'en date du 11 juillet 2013, ou éventuellement du 1er mai 2013, que l'office intimé a indiqué que cette formation ne pouvait entrer en ligne de compte. Par conséquent, le mauvais choix de la formation et le temps d'attente qui en est résulté était imputable à l'office intimé et non pas à l'assuré.
4.3. Au vu de ce qui précède, dans la mesure où l'instruction médicale a confirmé la capacité du recourant à être réadapté, où il ne peut être fait de reproche à l'assuré quant à son comportement au cours de la procédure et où, en revanche, l'office intimé a réagi de manière tardive et contradictoire par rapport au choix de la formation de l'assuré, les premiers juges n'étaient pas fondés à retenir que les conditions du droit au versement d'indemnités journalières d'attente à partir du 26 novembre 2012 n'étaient plus remplies jusqu'à l'accomplissement du stage de technicien-dentiste le 28 avril 2013.
Partant, le recours est fondé et doit être admis.
5.
Vu l'issue du litige, les frais de la procédure sont mis à la charge de l'office intimé (<ref-law>). Celui-ci est tenu de verser au recourant une indemnité de dépens (<ref-law>). En l'absence d'une note d'honoraire détaillée et compte tenu du fait que le cas d'espèce ne constituait pas une affaire complexe nécessitant beaucoup de temps, le montant de l'indemnité de dépens peut être fixé à 2'800 fr. selon la pratique du Tribunal fédéral en lieu et place du montant de 3'500 fr. requis par la partie recourante (arrêt 9C_115/2016 du 11 juillet 2016 consid. 5.2).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Le ch. 2 du jugement de la Cour des assurances sociales du Tribunal cantonal du Valais, du 26 février 2016, est réformé en ce sens que le droit de A._ à l'indemnité journalière est reconnu du 23 octobre 2012 au 28 avril 2013 et du 27 mai au 9 septembre 2013.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'office intimé.
3.
L'office intimé versera au recourant une indemnité de dépens de 2'800 fr. pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal du Valais pour nouvelle décision sur les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 19 octobre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
La Greffière : Flury