Faits : A. Par jugement du 27 août 2019, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a notamment libéré B._ des chefs de prévention de diffamation et de faux dans les titres, a mis une partie des frais de procédure à sa charge et a fixé l'indemnité due à son défenseur d'office, l'avocat A._. B. B._ a, par l'intermédiaire de son défenseur d'office, formé appel contre ce jugement, en concluant notamment à ce que les frais de la procédure de première instance ne soient pas mis à sa charge. Par avis du 17 décembre 2019, la direction de la procédure d'appel a indiqué que l'enjeu de la procédure - laquelle ne concernait plus que la question des frais - ne justifiait plus une défense d'office en faveur de B._, et qu'il était envisagé de relever l'avocat A._ de son mandat pour toute la procédure d'appel. Si B._ entendait se déterminer sur cette question, il lui appartenait de le faire dans un délai de 10 jours. Dans ses déterminations du 20 décembre 2019, B._ s'est notamment opposée à la révocation du mandat de son défenseur d'office pour la procédure d'appel. L'appel a été traité en procédure écrite. Par jugement du 3 janvier 2020, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de B._, et a révoqué le mandat de défenseur d'office de l'avocat A._ avec effet ex tunc, soit dès la notification du jugement de première instance. Ce jugement a été notifié le 9 mars 2020 à l'avocat A._. C. A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 3 janvier 2020, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que son mandat de défenseur d'office n'est pas révoqué pour la procédure d'appel et qu'une indemnité de 1'730 fr. 25 lui est allouée pour ladite procédure. Subsidiairement, il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. D. Invités à se déterminer, la cour cantonale a en substance conclu au rejet du recours, tandis que le ministère public a renoncé à se déterminer. A._ a encore formulé des observations à cet égard.