Faits : A. Y._ et X._, avocat dans le canton du Valais, ont, les 8 respectivement 23 août 2005, conclu une convention de fiducie aux termes de laquelle celui-ci encaissait les montants revenant à celui-là sur la base de contrats conclus et percevait des honoraires de 5 % sur chaque montant encaissé. L'activité de X._ s'est ultérieurement élargie à la détention d'actions, à la gestion de la société Z._ SA (ci-après : la Société) et d'autres sociétés dont Y._ était l'actionnaire majoritaire, de même qu'au développement d'affaires en général. Pour concrétiser cette relation de partenaires, Y._ a cédé à X._ 15 % du capital-actions de X._ SA. Ensuite de la résiliation de la convention de fiducie par Y._ le 19 novembre 2010, X._ a revendiqué le paiement de ses honoraires et la propriété des 15 % du capital-actions de X._ SA. Y._ n'a pas donné suite à ces demandes. X._ a dès lors exercé un droit de rétention sur les actions qu'il détenait à titre fiduciaire (85 %) respectivement comme propriétaire (15 %). Dans ces circonstances, Y._ a mandaté l'avocat A._, en vue d'obtenir, par le biais d'une poursuite, le paiement d'environ 850'000 fr. par X._. A la suite de la dénonciation déposée par le précité à l'encontre de A._ auprès de la Commission du barreau de la République et canton de Genève le 16 janvier 2013, celle-ci a estimé que les démarches entreprises par le dénoncé n'étaient pas constitutives d'une violation de l'art. 12 let. a de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA ou la loi sur les avocats; RS 935.61). Le 28 mai 2013, A._ a saisi la Chambre de surveillance des avocats du canton du Valais (ci-après: la Chambre de surveillance des avocats) d'une dénonciation à l'encontre de X._. Le premier reprochait notamment au second d'avoir étayé la dénonciation du 16 janvier 2013 précitée avec de la correspondance transactionnelle frappée des réserves d'usage, ce qui constituait une violation de l'art. 12 let. a LLCA. Dans une écriture complémentaire du 3 juillet 2013, A._ a encore affirmé que X._ avait également enfreint ses devoirs professionnels en révélant, lors d'une séance devant le Tribunal du district de Sion le 14 juin 2013, le contenu des principaux échanges intervenus entre eux, lesquels faisaient état des réserves d'usage. Dans ses déterminations des 9 juillet et 20 novembre 2013, X._ a soutenu qu'il n'avait pas violé l'art. 12 let. a LLCA, dès lors qu'il n'avait jamais agi en qualité d'avocat mais en celle d'administrateur et/ou de fiduciaire, plus particulièrement de partenaire d'affaires de Y._. B. Par décision du 26 août 2016, la Chambre de surveillance des avocats a reconnu X._ coupable d'une violation de l'art. 12 let. a LLCA et lui a infligé une amende de 7'000 fr. Le Tribunal cantonal du canton du Valais, en sa qualité d'Autorité cantonale de surveillance des avocats (ci-après : le Tribunal cantonal), a rejeté le recours interjeté par l'intéressé contre cette décision par jugement du 2 février 2017. C. Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision attaquée, subsidiairement de la renvoyer à l'autorité précédente pour nouvelle décision au sens des considérants. Le Tribunal cantonal se réfère aux considérants de son jugement du 2 février 2017. La Chambre de surveillance des avocats conclut au rejet du recours. Le recourant n'a pas déposé d'observations finales.