Faits: A. Au terme d'une enquête instruite d'office et sur plainte de C._, le Juge d'instruction de l'arrondissement de Lausanne a par ordonnance du 14 septembre 2009, renvoyé A._ en jugement devant le Tribunal de police de l'arrondissement de La Côte (ci-après: le Tribunal de police), sous les accusations d'atteinte astucieuse aux intérêts pécuniaires d'autrui (art. 151 CP), de contrainte (art. 181 CP) et de faux dans les titres (art. 251 ch. 1 CP). Par courrier du 16 décembre 2009, le Tribunal de police a fixé l'audience de jugement au 14 avril 2010. Le 22 décembre 2009, A._ a requis la récusation de B._, Président du Tribunal de police, celui-ci ayant, par arrêt du 15 décembre 2009, prononcé l'acquittement de C._ dans une affaire qui serait en lien direct avec la présente procédure. Le jugement en question a été rendu dans le cadre d'une affaire impliquant C._ et la société X._, dont A._ est l'administrateur unique. Celle-ci avait obtenu en 2008, l'interdiction provisionnelle prononcée à l'encontre de son ancien employé, C._, de travailler pour toutes entreprises concurrentes, sous menace de la peine d'amende prévue à l'art. 292 CP. Statuant sur la plainte pénale déposée au motif que ladite interdiction avait été violée, le Tribunal de police a acquitté C._. Ce jugement fait actuellement l'objet d'un recours auprès de la Cour de cassation pénale du Tribunal cantonal du canton de Vaud. Par courrier du 23 décembre 2009, le Juge B._ s'est opposé à la récusation. B. Par arrêt du 6 janvier 2010, la Cour administrative du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté la demande de récusation. Elle a considéré en substance que la participation d'un juge à deux procédures distinctes, ayant certes un état de fait apparenté, mais posant des questions juridiques différentes, était admissible. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral de réformer cet arrêt en ce sens que la requête de récusation est admise. Il conclut subsidiairement à l'annulation de l'arrêt attaqué. Invoquant notamment les art. 30 al. 1 Cst. et 6 par. 1 CEDH, il se plaint en substance de la partialité du juge visé par la demande de récusation. Le Juge B._ conclut au rejet du recours. Le Tribunal cantonal se réfère aux considérants de son arrêt.