Faits:
A. Au terme d'une enquête instruite d'office et sur plainte de C._, le Juge d'instruction de l'arrondissement de Lausanne a par ordonnance du 14 septembre 2009, renvoyé A._ en jugement devant le Tribunal de police de l'arrondissement de La Côte (ci-après: le Tribunal de police), sous les accusations d'atteinte astucieuse aux intérêts pécuniaires d'autrui (<ref-law>), de contrainte (<ref-law>) et de faux dans les titres (<ref-law>).
Par courrier du 16 décembre 2009, le Tribunal de police a fixé l'audience de jugement au 14 avril 2010. Le 22 décembre 2009, A._ a requis la récusation de B._, Président du Tribunal de police, celui-ci ayant, par arrêt du 15 décembre 2009, prononcé l'acquittement de C._ dans une affaire qui serait en lien direct avec la présente procédure. Le jugement en question a été rendu dans le cadre d'une affaire impliquant C._ et la société X._, dont A._ est l'administrateur unique. Celle-ci avait obtenu en 2008, l'interdiction provisionnelle prononcée à l'encontre de son ancien employé, C._, de travailler pour toutes entreprises concurrentes, sous menace de la peine d'amende prévue à l'<ref-law>. Statuant sur la plainte pénale déposée au motif que ladite interdiction avait été violée, le Tribunal de police a acquitté C._. Ce jugement fait actuellement l'objet d'un recours auprès de la Cour de cassation pénale du Tribunal cantonal du canton de Vaud.
Par courrier du 23 décembre 2009, le Juge B._ s'est opposé à la récusation.
B. Par arrêt du 6 janvier 2010, la Cour administrative du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté la demande de récusation. Elle a considéré en substance que la participation d'un juge à deux procédures distinctes, ayant certes un état de fait apparenté, mais posant des questions juridiques différentes, était admissible.
C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral de réformer cet arrêt en ce sens que la requête de récusation est admise. Il conclut subsidiairement à l'annulation de l'arrêt attaqué. Invoquant notamment les art. 30 al. 1 Cst. et 6 par. 1 CEDH, il se plaint en substance de la partialité du juge visé par la demande de récusation.
Le Juge B._ conclut au rejet du recours. Le Tribunal cantonal se réfère aux considérants de son arrêt.

Considérant en droit:
1. Dirigé contre une décision rendue en matière pénale (<ref-law>) par une autorité de dernière instance cantonale (<ref-law>), le recours en matière pénale a été déposé en temps utile (<ref-law>), par la partie qui a succombé devant l'autorité précédente et qui est accusée dans la procédure pénale litigieuse (<ref-law>). La décision attaquée est une décision incidente, prise et notifiée séparément du fond, portant sur une demande de récusation. Par conséquent, elle peut faire l'objet d'un recours immédiat devant le Tribunal de céans (<ref-law>). Il y a donc lieu d'entrer en matière sur le fond.
2. Le recourant se plaint d'une violation des art. 30 al. 1 Cst., 6 par. 1 CEDH, 21 de la loi vaudoise d'organisation judiciaire du 12 décembre 1979 (OJV; RSV 173.01) et 29 du code de procédure pénale vaudoise du 12 septembre 1967 (CPP/VD; RSV 312.01). Il estime que le Président du Tribunal de police ne peut statuer sur la plainte déposée à son encontre par C._ notamment pour faux dans les titres, après avoir acquitté celui-ci dans une affaire en lien direct avec la présente cause. Les arguments retenus dans le jugement du 15 décembre 2009 feraient clairement apparaître les liens entre les deux procédures, et la prévention acquise par le juge.
2.1 La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH - qui ont, de ce point de vue, la même portée - permet, indépendamment du droit de procédure cantonal, de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité; elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat, mais seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles du plaideur ne sont pas décisives (<ref-ruling> consid. 2.1 p. 240, 20 consid. 4.2 p. 21; <ref-ruling> consid. 5.2 p. 3 et 6.2 p. 6; <ref-ruling> consid. 1.1 p. 25 et les arrêts cités).
Selon la jurisprudence, il n'est pas admissible qu'un magistrat connaisse successivement de la même affaire en première instance puis en instance de recours, comme juge titulaire ou suppléant (<ref-ruling> consid. 3d p. 58 et les références citées). De même, ne saurait siéger comme juge pénal du fond le juge d'instruction qui avait mené l'enquête (<ref-ruling> consid. 2b et les arrêts cités), un magistrat qui avait déjà participé à l'affaire en sa qualité de procureur (<ref-ruling> consid. 3), le juge du renvoi (<ref-ruling> consid. 5) ou le juge qui avait préalablement décerné un mandat de répression (<ref-ruling> consid. 3). En revanche, la participation successive d'un juge à des procédures distinctes posant les mêmes questions n'était pas contraire à la Constitution et à la Convention européenne des droits de l'homme (arrêt du Tribunal fédéral 5P.202/2003 du 11 août 2003 consid. 2, in SJ 2004 I 128; arrêt de la Cour européenne des droits de l'homme Gillow contre Royaume-Uni du 24 novembre 1986, série A vol. 109 § 72 et 73, où il est observé qu'il arrive souvent que des juridictions supérieures aient à traiter successivement des affaires analogues ou apparentées; cf. <ref-ruling> consid. 3d p. 58). Il est ainsi admis que le juge pénal du fond statue ultérieurement sur une demande d'indemnité pour détention injustifiée (<ref-ruling> consid. 3), ou encore que le juge des mesures protectrices de l'union conjugale statue plus tard comme juge du divorce (arrêt non publié 1P.208/1996 du 26 juin 1996, consid. 3, in Pra 1997 3 9; cf. <ref-ruling> consid. 3d p. 57).
Le fait notamment qu'un magistrat ait déjà agi dans une cause peut éveiller un soupçon de partialité. Le cumul des fonctions n'est alors admissible que si le magistrat, en participant à des décisions antérieures relatives à la même affaire, n'a pas déjà pris position au sujet de certaines questions de manière telle qu'il ne semble plus à l'avenir exempt de préjugés et que, par conséquent, le sort du procès n'apparaisse plus indécis. Pour en juger, il faut tenir compte des faits, des particularités procédurales ainsi que des questions concrètes soulevées au cours des différents stades de la procédure (<ref-ruling> consid. 2a p. 169; <ref-ruling> consid. 3 p. 226 et les arrêts cités; cf. aussi <ref-ruling> consid. 6 p. 83 ss).
La récusation du magistrat s'impose d'autant plus qu'il statue comme juge unique, et non comme membre d'un tribunal (<ref-ruling> consid. 4a p. 171; cf. <ref-ruling> consid. 7b p. 153). Le seul fait qu'un juge ait déjà rendu une décision défavorable au recourant ne suffit cependant pas pour admettre un motif de prévention (cf. <ref-ruling> consid. 1 p. 279). Par exemple, un juge n'apparaît pas comme prévenu parce qu'il a rejeté une demande d'assistance judiciaire en raison de l'absence de succès de la requête. D'autres motifs sont nécessaires pour admettre qu'un tel juge ne serait plus en mesure d'adopter une autre position, de sorte que l'issue de la procédure n'apparaîtrait plus comme ouverte (<ref-ruling> consid. 3.7.3 p. 123 s.).
2.2 Dans le canton de Vaud, aux termes de l'<ref-law>/VD, les magistrats de l'ordre judiciaire peuvent être récusés si leurs relations avec une partie, son mandataire ou son avocat sont de nature à compromettre leur impartialité; il n'est cependant tenu compte que des motifs importants tels que la parenté, l'alliance ou l'intérêt matériel ou moral au procès.
Selon l'art. 21 OJV, tout magistrat est tenu de se récuser lorsqu'il a déjà été saisi du même litige à raison d'une autre qualité ou fonction.
Saisi du grief de la violation du droit à un juge indépendant et impartial, le Tribunal fédéral n'examine l'application du droit cantonal que sous l'angle de l'arbitraire (art. 9 Cst.; pour la définition de l'arbitraire, cf. <ref-ruling> consid. 8 p. 42 et les arrêts cités). Il apprécie en revanche librement la compatibilité de la procédure suivie en l'espèce avec les garanties constitutionnelles offertes en cette matière (<ref-ruling> consid. 3b p. 73 et la jurisprudence cités).
2.3 En l'espèce, le recourant prétend d'abord que "quand bien même il y a eu, d'une part une affaire pénale dirigée contre C._ ayant conduit à l'acquittement de celui-ci et qu'il y a, d'autre part, une affaire pénale à juger dirigée contre le recourant, il s'agit du même dossier, du même conflit, tant civil et commercial que pénal et impliquant les mêmes parties". Il voit un motif de prévention dans le fait que "la prise de position du [Président du Tribunal de police] qui a acquitté C._, partie adverse et ennemi juré du recourant dans cette cause, ne peut bien évidemment pas rester sans influence sur ce magistrat lorsqu'il devra juger le recourant en avril 2010".
Ce grief s'avère mal fondé, dans la mesure où il s'agit de deux procédures distinctes, l'une dirigée contre C._, l'autre contre A._, ayant certes un état de fait apparenté, mais posant des questions juridiques différentes. Dans l'affaire jugée le 15 décembre 2009, il était question d'une plainte pénale dirigée par X._ contre C._ pour contravention à l'<ref-law>, au motif que l'ordonnance du 19 mars 2008 dont le dispositif interdisait à C._ "de travailler pour l'entreprise Y._ ou de toute autre entreprise concurrente de X._ exerçant une activité dans les cantons de Genève et de Vaud, et cela jusqu'au 31 décembre 2008" n'a pas été respectée. En revanche, dans la cause dont l'audience de jugement est prévue le 14 avril 2010, la plainte pénale est dirigée par C._ contre A._ notamment pour faux dans les titres portant sur une annexe au contrat de travail contenant une clause de prohibition de concurrence. Même si elles s'ancrent dans le même contexte factuel, les questions juridiques posées dans les deux procédures sont indépendantes, puisque les infractions dénoncées ne sont pas les mêmes. Pour le surplus, le grief doit être écarté, dans la mesure où, vu la jurisprudence susmentionnée, un juge ne peut pas être récusé pour le simple motif que, dans une procédure antérieure, il a eu à trancher en défaveur du recourant.
2.4 L'intéressé soutient ensuite que le Juge B._ aurait anticipé sur l'affaire pénale dirigée contre le recourant en invoquant la question du faux et en considérant comme établie l'existence du faux, dans le jugement du 15 décembre 2009. Il se plaint également du comportement dudit Juge lors de l'audience du 15 décembre 2009, au cours de laquelle celui-ci l'aurait traité de "mari trompé" et lui aurait parlé de "conception du dialogue".
Ledit jugement retient que: "l'ordonnance relate en substance l'existence des contrats de travail de 2002 et de 2005, avec une annexe au contrat de travail contenant une clause de prohibition de concurrence, valable une année. Ces documents comportent les signatures des parties et l'annexe s'est révélée être un faux, ce qui résulte d'une expertise en signatures de l'Institut de police scientifique de l'Université de Lausanne (page 3 de l'ordonnance). On peut préciser ici que cet épisode fait l'objet d'une procédure pénale distincte, actuellement sous la forme d'une ordonnance de renvoi à l'encontre de A._ notamment pour faux dans les titres, ordonnance d'octobre 2009, l'audience de ce tribunal devant être fixée prochainement pour le début de l'année 2010. La présomption d'innocence demeure donc valable ici, contrebalancée par le constat de l'existence du faux effectué par le Juge des mesures provisionnelles, mesures confirmées par le Tribunal civil dans un jugement d'appel du 4 juin 2008".
Si le passage précité du jugement, dont le style rédactionnel n'est pas des plus habiles, fait référence à un faux, il n'est pas exclu qu'il tente de retranscrire le contenu d'une ordonnance civile. Pourtant, en opérant le compte-rendu du contenu de ladite ordonnance civile, le Juge en question prend position, puisqu'il affirme, sans utiliser le conditionnel et sans citer entre guillemets les termes propres utilisés par l'ordonnance, que "l'annexe s'est révélée être un faux". Il souligne plus loin que "la présomption d'innocence demeure valable", tout en précisant qu'elle est "contrebalancée par le constat de l'existence du faux effectué par le Juge des mesures provisionnelles". Même si le document n'est pas qualifié de faux dans les titres au sens de l'<ref-law> et s'il n'est pas dit que le recourant en serait l'auteur, le résumé ainsi rédigé du contenu de l'ordonnance civile, donne objectivement l'apparence de la prévention du Président du Tribunal de police et fait redouter que celui-ci se soit déjà forgé une opinion sur l'existence de faux dans les titres qu'il devra juger le 14 avril 2010. Ce d'autant plus que le Juge B._ statuera comme juge unique.
S'ajoute à cela, le fait que, lors de l'audience du 15 décembre 2009, le Président du Tribunal de police aurait traité le recourant de "mari trompé" et lui aurait parlé de "conception du dialogue". Le Juge B._ ne nie pas avoir tenu de tels propos. Il se borne à préciser avoir parlé de "conception du dialogue", après avoir été interrompu une fois, événement qu'il qualifie de banal. Partant, il ne prétend pas que le climat de l'audience était houleux ou que l'une des parties avait dépassé les bornes de la bienséance. Or, l'expression "mari trompé" manifeste indiscutablement une appréciation négative de la part de celui qui la profère. Elle prend une dimension particulière lorsqu'elle sort de la bouche d'un juge qui doit arbitrer le litige et qui doit faire preuve de réserve à l'égard des parties ainsi que de retenue dans l'expression, tant écrite qu'orale. Maladroite et malvenue, l'intervention du Juge B._ pouvait ainsi objectivement être ressentie par le recourant comme la marque d'une défiance à son encontre.
Par conséquent, le cumul de ces éléments permet objectivement de retenir une apparence de prévention du Président du Tribunal de police, qui suffit à fonder la demande de récusation. Il y a donc lieu de constater que la garantie du juge impartial n'a pas été respectée, de sorte que le Tribunal cantonal aurait dû admettre la demande de récusation.
3. Il s'ensuit que le recours doit être admis et la décision attaquée annulée. Le Tribunal fédéral pouvant statuer lui-même sur le fond (<ref-law>), la demande de récusation formée par le recourant le 22 décembre 2009 est par conséquent admise. Il n'y a pas lieu de percevoir des frais judiciaires (<ref-law>). L'Etat de Vaud versera en revanche une indemnité de dépens au recourant, qui obtient gain de cause avec l'assistance d'un avocat (<ref-law>). La cause sera renvoyée à l'autorité cantonale pour qu'elle statue à nouveau sur les frais et dépens de la procédure cantonale.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et la décision attaquée est annulée. La demande de récusation formée le 22 décembre 2009 est admise. La cause sera renvoyée à l'autorité cantonale pour qu'elle statue à nouveau sur les frais et dépens de la procédure cantonale.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 2'000 francs est allouée au recourant, à titre de dépens, à charge de l'Etat de Vaud.
4. Le présent arrêt est communiqué au mandataire du recourant, au Président du Tribunal d'arrondissement de La Côte et à la Cour administrative du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 mars 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Féraud Tornay Schaller