Faits :
A.
A.a. A._, né en 1983, a déposé une demande de prestations de l'assurance-invalidité au mois de décembre 2009. Après avoir accordé à l'assuré différentes mesures d'intervention précoce et de réadaptation, l'Office cantonal AI du Valais (ci-après: l'office AI) a nié son droit à une rente d'invalidité par décision du 1 er mars 2013 (taux d'invalidité de 18%). Par la suite, l'assuré a présenté une nouvelle demande de prestations en avril 2013 que l'office AI a rejetée au terme de l'instruction, par décision du 25 novembre 2016.
A.b. En juin 2017, A._ a déposé une troisième demande de prestations de l'assurance-invalidité. L'office AI a refusé d'entrer en matière sur cette demande, considérant que l'assuré n'avait pas rendu plausible une aggravation de son état de santé (décision du 2 mars 2018).
B.
A._ a recouru contre cette décision devant le Tribunal cantonal du Valais, Cour des assurances sociales. Dans son mémoire de recours du 27 mars 2018, il a notamment demandé la mise en oeuvre de débats publics. Par arrêt du 18 décembre 2019, la juridiction cantonale a rejeté le recours. Elle n'a pas donné suite à la requête tendant à l'organisation de débats publics.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à la reconnaissance de son droit à une rente entière d'invalidité depuis le 1 er mars 2013. Subsidiairement, il requiert le renvoi de la cause à la juridiction cantonale pour complément d'instruction.

Considérant en droit :
1.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
Dans un grief d'ordre formel, le recourant se plaint d'une violation de son droit à un procès équitable garanti par l'art. 6 § 1 CEDH. Il soutient en substance qu'il avait présenté une requête tendant à la mise en oeuvre de débats publics dans son recours cantonal, de sorte que l'autorité précédente aurait dû organiser de tels débats.
3.
3.1. L'art. 30 al. 3 Cst., selon lequel l'audience et le prononcé du jugement sont publics, ne confère pas au justiciable de droit à une audience publique. Il se limite à garantir qu'une telle audience se déroule publiquement lorsqu'il y a lieu d'en tenir une. Le droit à des débats existe seulement pour les causes qui bénéficient de la protection de l'art. 6 § 1 CEDH, lorsque la procédure applicable le prévoit ou lorsque sa nécessité découle des exigences du droit à la preuve (cf. <ref-ruling> consid. 2 p. 290 ss). L'art. 6 § 1 CEDH garantit notamment à chacun le droit à ce que sa cause soit entendue publiquement.
La tenue de débats publics doit, sauf circonstances exceptionnelles non réunies en l'espèce, avoir lieu devant les instances judiciaires précédentes. Il appartient à ce titre au recourant, sous peine de forclusion, de présenter une demande formulée de manière claire et indiscutable. Saisi d'une telle demande, le juge doit en principe y donner suite. Il peut cependant s'en abstenir dans les cas prévus par l'art. 6 par. 1, 2ème phrase, CEDH, lorsque la demande est abusive (chicanière ou dilatoire), lorsqu'il apparaît clairement que le recours est infondé, irrecevable ou, au contraire, manifestement bien fondé ou encore lorsque l'objet du litige porte sur des questions hautement techniques (<ref-ruling> consid. 5.1 p. 98 s.; cf. aussi arrêts 9C_320/2019 du 9 décembre 2019 consid. 4.1 et 8C_528/2017 du 19 décembre 2017 consid. 1.3 et les références). Le Tribunal fédéral a précisé qu'il ne pouvait être renoncé à des débats publics au motif que la procédure écrite convenait mieux pour discuter de questions d'ordre médical, même si l'objet du litige porte essentiellement sur la confrontation d'avis spécialisés au sujet de l'état de santé et de l'incapacité de travail d'un assuré (cf. <ref-ruling> consid. 3 p. 283 s.).
3.2. En l'espèce, il n'apparaît pas que l'une de ces exceptions soit réalisée. On ignore d'ailleurs les motifs pour lesquels les premiers juges n'ont pas donné suite à la requête du recourant. Sur ce point, le jugement attaqué ne contient aucune motivation.
3.3. En l'absence d'un motif qui s'opposait à la tenue d'une audience publique devant la juridiction cantonale et compte tenu de la demande non équivoque formulée devant celle-ci par le recourant, il y a lieu d'admettre que la procédure cantonale est entachée d'un vice de procédure qui entraîne d'emblée l'annulation du jugement entrepris, indépendamment des chances de succès sur le fond du recours en matière de droit public (<ref-ruling> consid. 3.1 p. 335 s.). Dans ces circonstances, l'acte attaqué doit être annulé et la cause renvoyée à la juridiction cantonale pour qu'elle donne suite à la requête de débats publics du recourant et statue à nouveau. La conclusion subsidiaire du recours se révèle ainsi bien fondée.
4.
Vu l'issue de la procédure, qui relève de motifs formels, il convient de renoncer à un échange d'écritures (<ref-law>; arrêt 9C_320/2019 précité consid. 4.4 et les références).
5.
Le recourant, qui obtient gain de cause, a droit à des dépens à la charge de l'intimé (cf. <ref-law>; <ref-ruling> consid. 11.1 p. 312). Il est statué sans frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. La décision du Tribunal cantonal du Valais, Cour des assurances sociales, du 18 décembre 2019 est annulée, la cause étant renvoyée à cette autorité pour qu'elle statue à nouveau en procédant conformément aux considérants. Le recours est rejeté pour le surplus.
2.
Il n'est pas perçu de frais judiciaires.
3.
L'intimé versera au recourant la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 13 mai 2020
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud