Faits: A. Le 7 mai 2003, X._ a acquis aux enchères publiques, pour le prix de 9'600'000 fr., les parcelles 445, 446, 447, 448, 449, 450, 451, 453, 456, 460, 477, 481, 483 et 545 de la commune de Montana, toutes propriétés de B._. Le 23 juin 2008, A._, B._, C._ et D._ (ci-après: A._ et consorts) ont déposé une dénonciation pénale, avec constitution de partie civile, contre E._, F._ et G._, voire X._, pour violation du secret bancaire (art. 47 de la loi fédérale du 8 novembre 1934 sur les banques et les caisses d'épargne [LB; RS 952.0]), au motif que ces derniers auraient distribué à des tiers, en vue de la vente des parcelles de B._, des plaquettes d'information contenant des renseignements confidentiels. Ils ont également formulé une demande de séquestre des documents relatifs aux faits dénoncés, ainsi que des parcelles précitées. Le 19 août 2008, le Juge d'instruction Y._, de l'Office du Juge d'instruction cantonal du canton du Valais, (ci-après: le juge d'instruction) a refusé le séquestre desdites parcelles. L'autorité de plainte du Tribunal cantonal du canton du Valais a rejeté la plainte de A._ et consorts contre cette décision. Le 28 novembre 2008, le juge d'instruction a rejeté la requête de A._ et consorts tendant à l'annotation d'une restriction du droit d'aliéner sur les parcelles susmentionnées. Les prénommés ont formé sans succès une plainte contre cette décision. Par courrier du 4 mars 2009, ils ont à nouveau demandé au Juge d'instruction l'annotation d'une restriction du droit d'aliéner sur les parcelles précitées, ce qui a été refusé le 10 mars 2009. Le 11 mars 2009, le juge d'instruction a ouvert une instruction d'office à l'encontre de E._ pour violation du secret bancaire. Le refus du 10 mars 2009 a fait l'objet d'une nouvelle plainte, que le Juge de l'autorité de plainte du Tribunal cantonal a rejetée dans la mesure de sa recevabilité. Le recours formé devant la Cour de céans contre cette décision a été déclaré irrecevable (arrêt 1B_155/2009 du 24 août 2009). B. Le 15 juin 2009, A._ et consorts ont demandé la récusation du juge d'instruction Y._, au motif que, tout comme dans une précédente procédure, il aurait manifesté sa volonté de ne donner aucune suite à l'affaire, faisant ainsi douter de son impartialité. Le juge en question ayant refusé de se récuser et le Juge d'instruction cantonal ayant refusé de le dessaisir du dossier, la cause a été transmise au Président du Tribunal cantonal. Par décision du 24 août 2009, le Président du Tribunal cantonal a rejeté la demande de récusation. Il a considéré que la requête était tardive pour tous les faits survenus avant le 5 juin 2009, dès lors qu'aux termes de l'art. 35 ch. 1 du Code de procédure pénale valaisan du 22 février 1962 (CPP/VS; RS/VS 312.0) la récusation devait être demandée dans les dix jours dès la survenance du cas de récusation ou dès le moment où le requérant en avait eu connaissance. Il a au demeurant estimé que, supposés recevables, ces griefs auraient dus être écartés. La requête était recevable en tant qu'elle visait une lettre du 5 juin 2009 (recte: du 4 juin 2009), dans laquelle le juge d'instruction manifestait son intention de prononcer un non-lieu. Le Président du Tribunal cantonal n'y a cependant pas vu un indice de partialité du magistrat visé par la demande de récusation. C. Agissant par la voie du recours en matière pénale, A._ et consorts demandent au Tribunal fédéral d'annuler cette décision. Invoquant les art. 30 al. 1 Cst. et 6 par. 1 CEDH, ils se plaignent en substance de la partialité du juge d'instruction visé par la demande de récusation. L'autorité de plainte et le juge d'instruction ont renoncé à formuler des observations. Le Ministère public du canton du Valais s'est déterminé, en concluant au rejet du recours dans la mesure de sa recevabilité. E._ s'est également déterminé; il conclut au rejet du recours.