Faits : A. Le 16 juin 2014, l'Office central du Ministère public du canton du Valais a ouvert une instruction pénale contre A._ pour lésions corporelles graves, subsidiairement lésions corporelles simples sur la personne de son épouse, C._. Entendu en qualité de prévenu le 17 juin 2014, A._ a bénéficié de l'assistance de l'avocat de permanence B._. Ce dernier a ensuite été désigné comme défenseur d'office et a requis l'octroi de l'assistance judiciaire. Par courrier du 20 juin 2014, l'avocat Pierre Charpié a informé le Ministère public qu'il reprenait le défense de A._, produisant une procuration signée par son client. Le Ministère public a répondu le même jour que les conditions d'une révocation du mandat de défenseur d'office, en particulier la rupture du lien de confiance entre celui-ci et le prévenu, n'étaient pas réunies. Me Charpié a saisi, le 22 juin 2014, la Chambre pénale du Tribunal cantonal du Valais (ci-après: le Tribunal cantonal) d'un recours tendant à annuler cette décision, à libérer Me B._ de sa mission et à constater qu'il était lui-même constitué en tant que défenseur de choix. Dans le cadre de cette procédure de recours, A._ a confirmé sa demande d'assistance judiciaire gratuite. Par courrier du jeudi 10 juillet 2014 adressé en copie au Ministère public, A._ a informé le Tribunal cantonal qu'il retirait "la demande ou le maintien de la demande d'assistance judiciaire". Par décision du lundi 14 juillet 2014, le Ministère public a révoqué le mandat de Me B._ en qualité de défenseur d'office aux motifs que le prévenu avait renoncé à l'assistance judiciaire et choisi Me Charpié comme défenseur de choix. B. A._ a formé recours le 22 juillet 2014 contre la décision du Ministère public du 14 juillet 2014. Il a conclu à ce que le précédent conseil soit libéré de son mandat de défenseur d'office avec effet au 20 juin 2014 et à ce qu'il soit constaté que Me Charpié assure la défense de ses intérêts en qualité de défenseur privé avec effet au 20 juin 2014. Il a en outre demandé qu'il soit octroyé une indemnité de défenseur d'office à Me B._ et qu'il reçoive lui-même une indemnité de 10'0418 fr. 30 à titre de dépens et de 500 fr. à titre de tort moral. Après avoir constaté que les deux recours formés par A._, respectivement le 22 juin et le 22 juillet 2014, avaient un étroit rapport de connexité, le Tribunal cantonal a joint les deux procédures. Par une seule ordonnance, rendue 29 octobre 2014, le Tribunal cantonal a rejeté les recours de A._ avec suite de frais et dépens à la charge de ce dernier. C. Agissant par la voie du recours en matière pénale le 1 er décembre 2014, A._ sollicite la réforme de l'ordonnance cantonale en ce sens que Pierre Charpié est reconnu en qualité de défenseur de choix à compter du 21 juin 2014 et qu'une indemnité doit lui être allouée pour le recours du 22 juin 2014. Il demande aussi que des indemnités de 10'418 fr. 30 à titre de dépens et de 500 fr. à titre de tort moral lui soient accordées en rapport avec le recours du 22 juillet 2014 et les conséquences du refus d'admettre Pierre Charpié comme défenseur de choix. Enfin, il conclut à ce que tous les frais concernant l'avocat B._ soient laissés à la charge de l'Etat du Valais. La cour cantonale et le Ministère public renoncent à se déterminer. La cour cantonale se réfère aux considérants de sa décision.