Faits : A. Par acte d'accusation du 22 mars 2018, l'Office régional du Ministère public du Valais central a renvoyé A._ en jugement devant le Tribunal du II e arrondissement pour le district de Sierre afin de répondre des infractions d'actes d'ordre sexuel avec des enfants (art. 187 ch. 1 CP), de tentative d'actes d'ordre sexuel avec des enfants (art. 22 al. 1 et 187 ch. 1 CP), d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) et de tentative d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 22 al. 1 et 191 CP). Par décision du 14 novembre 2018, le Tribunal du II e arrondissement pour le district de Sierre a ordonné le huis clos mais a autorisé les chroniqueurs dûment accrédités auprès des tribunaux valaisans à assister aux débats, à la double condition que la chronique judiciaire respecte l'anonymat des parties et que les enregistrements audio et video à l'intérieur du Tribunal soient prohibés. Le 4 décembre 2018, le Président du Tribunal du II e arrondissement pour le district de Sierre, Stéphane Epiney, a cité les parties à comparaître pour les débats qui auront lieu le 18 février 2019 à 9 heures. Les 15, 17, 18 et 23 janvier 2019, le Président du Tribunal du II e arrondissement pour le district de Sierre a transmis l'acte d'accusation du 22 mars 2018 aux sept journalistes accrédités auprès des tribunaux valaisans, qui lui en avaient fait la demande. Le 21 janvier 2019, lors du journal télévisé de 19h30 de la Radio Télévision Suisse (RTS), l'affaire pénale intéressant A._ a été évoquée. Elle a aussi été mentionnée dans l'édition du 23 janvier 2019 du journal le Nouvelliste. B. Le 25 janvier 2019, A._ a requis la récusation du Président du Tribunal du II e arrondissement pour le district de Sierre, Stéphane Epiney, des Juges Isabelle Boson et Lionel Henriot ainsi que du Greffier Frédéric Evéquoz. Les trois Juges ont contesté les motifs de récusation. Par ordonnance du 20 mars 2019, la Chambre pénale du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté la demande de récusation. De nouveaux débats ont été fixés au 20 mai 2019. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'ordonnance du 20 mars 2019 et d'admettre la demande de récusation des Juges et du Greffier précités. Le Tribunal cantonal se réfère à son ordonnance. Les Juges Isabelle Boson et Lionel Henriot renoncent à se déterminer. Le Juge Stéphane Epiney a déposé des observations par courrier du 16 avril 2019. Le recourant a répliqué, par courrier du 10 mai 2019.