Faits :
A.
A.a. A._ s'est vu allouer par l'Office cantonal AI du Valais (ci-après: l'office AI) une rente entière d'invalidité du 1 er janvier au 31 août 2009, puis une demi-rente dès le 1 er septembre 2009 (décision du 13 janvier 2009 [recte: 2010]). L'assuré a ensuite été engagé comme responsable des ventes sous-traitances électriques à mi-temps par la société B._ SA dès le 1 er juin 2010. Il a informé l'office AI de cet engagement. A l'invitation de l'administration, il a ensuite produit le 20 septembre 2010 une copie de son contrat de travail et de ses fiches de salaire mentionnant un salaire mensuel brut de 3'500 fr. (pour les mois de juin à août 2010).
Dans le cadre d'une révision, A._ s'est référé le 15 novembre 2010 aux pièces déjà remises le 20 septembre précédent à l'office AI et a autorisé celui-ci à demander des renseignements complémentaires auprès de son employeur. La société a indiqué le 6 décembre 2010 que l'assuré avait perçu un revenu mensuel brut de 3'500 fr. de juin à octobre 2010. Le droit à une demi-rente d'invalidité a été maintenu (communication du 17 février 2011).
A.b. Procédant à un nouvel examen de la situation professionnelle au début de l'année 2013, l'office AI a notamment demandé à l'employeur des précisions sur la rémunération de l'assuré. La société B._ a répondu le 19 août 2013 en transmettant le décompte des salaires perçus par l'assuré en 2012, soit 5'500 fr. brut treize fois l'an. Le 3 mars 2014, l'office AI a réclamé des informations complémentaires. L'employeur a indiqué les 10 juin et 29 août 2014 que A._ avait été promu provisoirement comme responsable de production en raison de l'apport d'une grosse affaire et qu'il avait perçu le revenu correspondant (5'500 fr.) du 1 er novembre 2010 au 31 août 2014. Le 6 octobre 2014, l'assuré a remis à l'office AI un avenant à son contrat de travail du 25 août 2014 mentionnant un revenu mensuel brut de 3'800 fr. treize fois l'an dès le 1 er septembre 2014.
Après avoir informé l'assuré de son intention (projet du 26 janvier 2015), l'office AI a, par décision du 13 octobre 2015, supprimé la demi-rente d'invalidité de A._ avec effet rétroactif du 1 er mars 2011 au 28 février 2014; il a ordonné la restitution des montants perçus à tort durant cette période, représentant la somme de 38'552 fr. Par communication du même jour, l'office AI a par ailleurs maintenu l'octroi en faveur de l'assuré d'une demi-rente d'invalidité.
B.
L'assuré a déféré la décision du 13 octobre 2015 devant le Tribunal cantonal du Valais, Cour des assurances sociales, en tant qu'elle portait sur la restitution des prestations versées du 1er mars 2011 au 28 février 2014. Par jugement du 28 avril 2016, la Cour cantonale a rejeté le recours.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation, ainsi que celle de la décision du 13 octobre 2015. Il conclut principalement à ce qu'il ne soit pas tenu de restituer les prestations touchées entre le 1er mars 2011 et le 28 février 2014, subsidiairement entre le 1er septembre 2013 et le 28 février 2014. A titre plus subsidiaire encore, il conclut au renvoi de la cause à l'autorité précédente pour instruction complémentaire.
L'office intimé conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération (<ref-law>).
2.
Compte tenu des conclusions et motifs du recours et au regard du jugement entrepris, le litige en instance fédérale porte sur la restitution des prestations d'invalidité versées du 1er mars 2011 au 28 février 2014 (soit un montant de 38'552 fr.). Comme devant les premiers juges, le recourant conclut à ce qu'il ne soit pas tenu de restituer les prestations en cause et à l'annulation de la décision du 13 octobre 2015. Fait ainsi partie des rapports de droit litigieux aussi bien le point de savoir à partir de quand l'intimé avait connaissance des faits fondant l'obligation de restituer, que la durée du délai de péremption pour réclamer la restitution des prestations indues (consid. 3 infra). En particulier, dès lors que la juridiction cantonale a retenu un délai de sept ans en vertu du droit pénal, à la différence de l'intimé, le recourant est en droit de contester la réalisation des conditions de l'application d'un tel délai devant le Tribunal fédéral. Il est également en droit d'exposer une argumentation juridique relative à la relation de causalité entre son comportement et la perception indue des prestations. Aussi, la motivation de l'intimé selon laquelle le recourant aurait admis le bien-fondé de sa décision, de sorte qu'il ne pourrait plus contester le caractère illicite de son comportement, ni "la période retenue pour demander la restitution des prestations indument perçues" tombe à faux.
3.
3.1. Aux termes de l'art. 25 al. 2, 1 ère phrase, LPGA (RS 830.1), le droit de demander la restitution de prestations indûment touchées s'éteint un an après le moment où l'institution d'assurance a eu connaissance du motif de restitution, mais au plus tard cinq ans après le versement de la prestation. Selon la jurisprudence, il s'agit de délais (relatif et absolu) de péremption (<ref-ruling> consid. 3.2.2 p. 24 et les références). Ces délais ne peuvent par conséquent être interrompus. Lorsque l'autorité a accompli l'acte conservatoire que prescrit la loi, le délai se trouve sauvegardé, cela une fois pour toutes (arrêt 8C_616/2009 du 14 décembre 2009 consid. 3.1 et les références).
Le délai de péremption relatif d'une année commence à courir dès le moment où l'administration aurait dû connaître les faits fondant l'obligation de restituer, en faisant preuve de l'attention que l'on pouvait raisonnablement exiger d'elle. L'administration doit disposer de tous les éléments qui sont décisifs dans le cas concret et dont la connaissance fonde - quant à son principe et à son étendue - la créance en restitution à l'encontre de la personne tenue à restitution (<ref-ruling> consid. 2.1 p. 525 et les références). Si l'administration dispose d'indices laissant supposer l'existence d'une créance en restitution, mais que les éléments disponibles ne suffisent pas encore à en établir le bien-fondé, elle doit procéder, dans un délai raisonnable, aux investigations nécessaires. A ce défaut, le début du délai de péremption doit être fixé au moment où elle aurait été en mesure de rendre une décision de restitution si elle avait fait preuve de l'attention que l'on pouvait raisonnablement exiger d'elle. Dans tous les cas, le délai de péremption relatif d'une année commence à courir immédiatement s'il s'avère que les prestations en question étaient clairement indues (arrêt 9C_454/2012 du 18 mars 2013 consid. 4, non publié à l'<ref-ruling> et les références).
3.2. Si la créance naît d'un acte punissable pour lequel le droit pénal prévoit un délai plus long, celui-ci est déterminant (art. 25 al. 2, 2 ème phrase, LPGA). En matière d'invalidité, ce sont principalement les infractions réprimées aux <ref-law> ("Escroquerie") et <ref-law> ("Délits"), applicable par le renvoi de l'<ref-law>, qui entrent en considération. En particulier, celui qui aura manqué à son obligation de communiquer (<ref-law>) sera puni d'une peine pécuniaire de 180 jours-amende au plus, à moins qu'il ne s'agisse d'un crime ou d'un délit frappé d'une peine plus lourde (art. 87, cinquième paragraphe, LAVS).
3.3. D'après l'<ref-law>, l'ayant droit, ses proches ou les tiers auxquels une prestation est versée sont tenus de communiquer à l'assureur ou, selon les cas, à l'organe compétent toute modification importante des circonstances déterminantes pour l'octroi d'une prestation. En matière d'assurance-invalidité, l'<ref-law> précise que l'ayant droit ou son représentant légal, ainsi que toute personne ou autorité à qui la prestation est payée, doit communiquer immédiatement à l'office AI tout changement important qui peut avoir des répercussions sur le droit aux prestations, en particulier les changements qui concernent l'état de santé, la capacité de gain ou de travail, la situation personnelle et éventuellement économique de l'assuré. Pour qu'il y ait violation de l'obligation de renseigner au sens de l'<ref-law>, il faut qu'il y ait un comportement fautif; d'après la jurisprudence, une légère négligence suffit déjà (cf. <ref-ruling> consid. 2a p. 101).
4.
4.1. La juridiction cantonale a rejeté "l'exception de péremption" invoquée par le recourant au motif que la créance dont se prévalait l'administration était née d'un acte punissable pour lequel le droit pénal prévoyait un délai de prescription de sept ans. Les premiers juges ont tout d'abord considéré que l'assuré n'avait pas adopté un comportement actif de tromperie visant à cacher des informations pertinentes pour l'examen de son droit à des prestations d'invalidité. Il ne paraissait dès lors pas avoir commis une escroquerie au sens de l'<ref-law>. En revanche, il avait manifestement violé son obligation d'annoncer l'augmentation de salaire accordée dès le mois de novembre 2010, de sorte qu'il s'était rendu coupable d'une infraction au sens de l'art. 87, cinquième paragraphe, LAVS. Les rentes dont la restitution était requise ayant été versées au plus tôt au mois de mars 2011, la demande de restitution initiée par le projet de décision du 26 janvier 2015 était par conséquent intervenue dans le délai de sept ans de l'<ref-law>. Le point de savoir si l'administration avait agi dans le délai d'une année prévu par l'<ref-law> pouvait rester ouvert.
4.2. Invoquant une violation de l'<ref-law>, le recourant affirme pour l'essentiel que le droit de réclamer le remboursement du montant de 38'552 fr. était périmé au moment où la décision de l'office AI a été rendue. Selon lui, le délai de sept ans du droit pénal ne s'appliquait pas, car il ne s'était rendu coupable d'aucune infraction. Par ailleurs, le délai de péremption d'une année était échu car l'intimé n'avait pas agit dans l'année suivant le moment où on aurait pu attendre de sa part qu'il procède aux investigations nécessaires en août 2013. Il soutient encore que le lien de causalité entre la violation dénoncée de l'obligation d'annoncer son augmentation de salaire et la perception de prestations a été interrompu dès le mois d'août 2013 puisque l'office AI savait à ce moment-là qu'il percevait mensuellement un revenu de 5'500 fr.
5.
5.1. En l'espèce, la juridiction cantonale n'a pas retenu une tromperie au sens de l'<ref-law>, ce qui n'est pas remis en cause par les parties.
En revanche, en ce qui concerne les conditions de l'art. 87, cinquième paragraphe, LAVS, on constate à la suite des premiers juges que le recourant pouvait aisément se rendre compte que l'augmentation de salaire intervenue en novembre 2010 était de nature à influencer son droit à des prestations de l'assurance-invalidité. D'ailleurs, comme le rappelle l'office intimé, l'obligation d'annoncer tout changement de salaire figurait en toutes lettres dans la motivation de la décision du 13 janvier 2010. Aussi, la simple lecture de ce document aurait dû amener le recourant à annoncer son augmentation de salaire au plus tard en novembre 2010. Dans ces conditions, force est d'admettre que le recourant ne pouvait ignorer l'importance que revêtait la communication de toute information d'ordre économique le concernant. A l'inverse de ce qu'il prétend, il ne pouvait se reposer sur les seules indications de l'employeur transmises à l'intimé en décembre 2010 - qui se rapportaient aux mois de juin à octobre 2010 -, puisqu'il était personnellement tenu d'annoncer l'augmentation de revenu survenue le 1 er novembre 2010.
5.2. Sur le vu de ce qui précède, la juridiction cantonale était en droit de considérer que les conditions objectives et subjectives de l'infraction en cause étaient réalisées; le délai de péremption de plus longue durée prévu par le droit pénal, soit en l'occurrence sept ans (<ref-law>), est donc applicable. Le grief y relatif du recourant est mal fondé.
6.
Il reste à examiner si, comme le recourant le prétend, la communication de l'employeur du 19 août 2013 a interrompu le lien de causalité entre la violation par le recourant de son obligation d'annoncer et la perception indue de prestations.
6.1. En ce qui concerne la suppression de la rente d'invalidité en cas de manquement à l'obligation de renseigner, l'art. 88 bis al. 2 let. b RAI suppose un lien de causalité entre le comportement à sanctionner (la violation de l'obligation d'annoncer) et le dommage causé (la perception de prestations indues) pour que l'autorité puisse supprimer avec effet rétroactif des prestations d'invalidité (voir <ref-ruling> consid. 4a p. 435; <ref-ruling> consid. 3b p. 219; arrêt 9C_454/2012 du 18 mars 2013 consid. 7.3, non publié in <ref-ruling>, mais in SVR 2013 IV n° 24 p. 66).
6.2. En l'occurrence, selon les constatations de la juridiction cantonale, l'employeur avait communiqué à l'intimé, le 19 août 2013, les fiches relatives au salaire 2012 dont il ressortait que depuis janvier 2012 l'assuré percevait un salaire mensuel brut de 5'500 fr. On doit admettre qu'à partir de cette date, l'intimé avait connaissance d'informations lui permettant de constater que le droit à des prestations telles qu'octroyées jusqu'alors n'était plus fondé en raison de l'augmentation déterminante du revenu du recourant. Cela vaut même si l'administration devait encore entreprendre des investigations pour examiner précisément à partir de quand dite augmentation était survenue.
Par conséquent, le lien de causalité a été interrompu au 1 er septembre 2013. Il n'y a en effet aucun motif de s'écarter de la règle selon laquelle un tel lien est en principe interrompu dès le mois qui suit l'annonce tardive (<ref-ruling> consid. 4a p. 435; arrêt 8C_6/2010 du 4 mai 2010 consid. 5.2). Il y a lieu de retrancher du montant requis par l'office intimé les demi-rente d'invalidité perçues par le recourant du 1 er septembre 2013 au 28 février 2014 (six mois), soit un montant de 6'462 fr. (6 x 1'077 fr.).
7.
7.1. Il découle de ce qui précède que le jugement entrepris doit être réformé en ce sens que le recourant est tenu de restituer les demi-rentes d'invalidité perçues entre le 1er mars 2011 et le 31 août 2013, représentant la somme de 32'090 fr. (38'552 fr. - 6'462 fr.). Le recours se révèle partiellement bien fondé.
7.2. Vu l'issue du recours, il convient de faire supporter les frais judiciaires à raison des quatre cinquièmes au recourant (<ref-law>) et de un cinquième à l'intimé (<ref-law>). Le recourant a également droit à des dépens réduits dans la même proportion que les frais (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le chiffre 1 du dispositif de la décision du Tribunal cantonal du Valais, Cour des assurances sociales, du 28 avril 2016 et la décision de l'Office cantonal AI du Valais du 13 octobre 2015 sont réformés en ce sens que le recourant est tenu de restituer les demi-rentes d'invalidité perçues entre le 1er mars 2011 et le 31 août 2013, représentant la somme de 32'090 fr. Les chiffres 2 et 3 du dispositif de la décision attaquée du 28 avril 2016 sont annulés. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis pour 640 fr. à la charge du recourant et pour 160 fr. à la charge de l'intimé.
3.
L'intimé versera au recourant la somme de 600 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal du Valais, Cour des assurances sociales, pour nouvelle décision sur les frais et dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 2 novembre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Bleicker