Citation: 1B_491/2019 E. C

A.________ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 3 septembre 2019. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est constaté que son droit à choisir librement son avocat a été illicitement atteint, que des dépens à hauteur de 1369 fr. 80 lui sont octroyés et qu'il n'est condamné à aucun frais de justice à raison de la décision attaquée. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Invitée à se déterminer, la cour cantonale a renoncé à présenter des observations, se référant aux considérants de l'arrêt. Le Ministère public a pour sa part conclu au rejet du recours.