Faits : A. Le 17 juin 2014, le Tribunal correctionnel de l'arrondissement de la Côte (ci-après: le tribunal) a ouvert les débats dans la procédure dirigée contre A._, prévenu d'abus de confiance, d'escroquerie, de gestion déloyale et de gestion fautive. Après le rejet des réquisitions de l'accusé tendant à la reprise d'une expertise financière, à la production de nombreuses pièces et à l'audition de divers témoins, celui-ci a demandé la récusation du tribunal en corps et le renvoi de la cause à un tribunal d'un autre arrondissement. B. Par arrêt du 25 juin 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a jugé que la demande de récusation était infondée, considérant que les offres de preuves avaient été rejetées au motif qu'elles n'étaient pas pertinentes. Il a nié l'existence de toute circonstance objective susceptible de remettre en cause l'impartialité du tribunal correctionnel. C. A._ forme un recours en matière pénale. Il demande principalement au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que la récusation de la Présidente du Tribunal correctionnel de l'arrondissement de la Côte est ordonnée. Subsidiairement, il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour qu'elle statue dans le sens des considérants. La Présidente du tribunal correctionnel se réfère aux considérants de l'arrêt cantonal. Le Tribunal cantonal a renoncé à se déterminer.