Faits:
A. L._ a travaillé auprès de l'Entreprise X._ du 1er septembre 1977 au 31 janvier 2007, en dernier lieu en tant que gestionnaire de compte. Le 23 septembre 2005, elle a déposé une demande de prestations de l'assurance-invalidité, invoquant une lombopygialgie dans un contexte de trouble statique sévère, des souffrances lombaires L2/L4, une arthrose, une double scoliose, ainsi qu'un tassement des vertèbres. Après avoir instruit la demande, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a, par décision du 19 janvier 2009 confirmant son projet de décision du 13 mai 2008, nié le droit de l'assurée à toute prestation sur la base d'un taux d'invalidité de 29,99 %.
B. L'assurée a formé recours contre cette décision, en produisant une expertise privée réalisée par le docteur H._, spécialiste FMH en rhumatologie, lequel retenait une incapacité de travail de 40 % dans l'ancienne activité, ainsi que dans une activité adaptée (cf. rapport du 22 septembre 2010). Sur la base des conclusions de cette expertise, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a partiellement admis le recours et reconnu le droit de l'assurée à un quart de rente d'invalidité à compter du 1er août 2005 (jugement du 26 septembre 2011).
C. L._ interjette un recours en matière de droit public contre ce jugement dont elle demande la réforme en ce sens que le droit à un trois quarts de rente d'invalidité lui soit reconnu à compter du 1er août 2005. Elle conclut subsidiairement à l'octroi d'une demi-rente d'invalidité à compter de la même date, voire à l'annulation du jugement entrepris, la cause devant être renvoyée à la juridiction cantonale pour nouveau jugement dans le sens des considérants.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. 2.1 Compte tenu du dispositif du jugement entrepris et des conclusions du recours, le litige porte sur le droit de la recourante à un trois quarts de rente d'invalidité, subsidiairement à une demi-rente d'invalidité, en lieu et place du quart de rente reconnu par la juridiction cantonale à compter du 1er août 2005. A cet égard, le jugement cantonal expose correctement les dispositions légales et les principes jurisprudentiels, notamment sur la notion d'invalidité et son évaluation. Il suffit donc d'y renvoyer.
2.2 Le taux d'incapacité de travail de 40 % n'étant pas contesté en l'espèce, demeure seul litigieux le degré d'invalidité retenu par la juridiction cantonale.
3. Les premiers juges ont constaté que selon les médecins l'activité exercée par la recourante auprès de X._ était adaptée à ses problèmes de santé. D'après eux, nonobstant le licenciement de la recourante intervenu au 31 janvier 2007, il n'y avait donc aucune raison de ne pas tenir compte de l'ancienne activité pour évaluer le degré d'invalidité. Dans le cas d'espèce, ils ont considéré que le taux d'invalidité se confondait avec le taux d'incapacité de travail de 40 %, ce qui permettait d'ouvrir le droit à un quart de rente d'invalidité. Dans ces conditions, une comparaison des revenus avec et sans invalidité s'avérait superflue.
Toutefois, la recourante se prévalant d'un taux d'invalidité de 50 %, respectivement de 67,50 %, sur la base d'un revenu d'invalide issu des salaires statistiques, la juridiction cantonale a également procédé à la comparaison des revenus déterminants en se fondant sur les données résultant de l'Enquête suisse sur la structure des salaires publiée par l'Office fédéral de la statistique (ESS). Pour fixer le revenu avec invalidité, les premiers juges ont retenu qu'au vu des formations suivies par la recourante durant son engagement, de sa solide expérience dans le domaine de la gestion des comptes, et de son habitude des responsabilités, il y avait lieu de se référer aux données salariales concernant les personnes disposant de connaissances professionnelles spécialisées (niveau de qualification 3) et non pas à la moyenne des salaires des personnes exerçant des activités simples et répétitives (niveau de qualification 4). Le salaire déterminant était donc celui auquel pouvaient prétendre les femmes effectuant des activités requérant des connaissances professionnelles spécialisées dans le domaine de la finance et des assurances selon l'ESS 2004 (Tableau TA1, niveau de qualification 3), soit 5'753 fr. par mois. Après adaptation à l'année 2005 et à une durée hebdomadaire de 41,6 heures, il en résultait un revenu d'invalide de 39'158 fr. 32 compte tenu d'un abattement de 10 %. La comparaison de ce revenu avec le revenu sans invalidité de 77'096 fr. 75 faisait apparaître un taux d'invalidité de 49,21 %, arrondi à 49 %, lequel n'ouvrait le droit qu'à un quart de rente d'invalidité.
Les premiers juges en ont conclu que quelle que soit la méthode utilisée, la recourante avait droit à un quart de rente d'invalidité depuis le 1er août 2005, soit un an après le début de l'incapacité de travail durable survenue le 15 août 2004.
4. 4.1 La recourante reproche en premier lieu à la juridiction cantonale d'avoir retenu que le taux d'invalidité se confondait avec celui de l'incapacité de travail. Selon elle, dès lors qu'elle n'avait pas repris son activité au sein de X._ depuis son licenciement et qu'elle ne travaillait plus depuis cinq ans, le taux d'invalidité aurait dû être fixé en procédant à la comparaison des revenus, le salaire d'invalide devant être déterminé par rapport aux données de l'ESS.
4. 4.1 La recourante reproche en premier lieu à la juridiction cantonale d'avoir retenu que le taux d'invalidité se confondait avec celui de l'incapacité de travail. Selon elle, dès lors qu'elle n'avait pas repris son activité au sein de X._ depuis son licenciement et qu'elle ne travaillait plus depuis cinq ans, le taux d'invalidité aurait dû être fixé en procédant à la comparaison des revenus, le salaire d'invalide devant être déterminé par rapport aux données de l'ESS.
4.2 4.2.1 Les règles légales et jurisprudentielles sur la manière d'effectuer la comparaison des revenus (prévue à l'art. 16 LPGA), y compris celles concernant l'utilisation de l'ESS, relèvent de questions de droit. Sous cet angle, la constatation des deux revenus hypothétiques à comparer est une question de fait, dans la mesure où elle repose sur une appréciation concrète des preuves; il s'agit en revanche d'une question de droit si elle se fonde sur l'expérience générale de la vie. Ainsi, relèvent du droit les questions de savoir si les salaires statistiques de l'ESS sont applicables ou quel tableau statistique est déterminant (<ref-ruling> consid. 3.3 p. 399).
4.2.2 Le revenu d'invalide doit être évalué avant tout en fonction de la situation professionnelle concrète de la personne assurée. Lorsque l'activité exercée après la survenance de l'atteinte à la santé repose sur des rapports de travail particulièrement stables, qu'elle met pleinement en valeur la capacité de travail résiduelle exigible et que le gain obtenu correspond au travail effectivement fourni et ne contient pas d'éléments de salaire social, c'est le revenu effectivement réalisé qui doit être pris en compte pour fixer le revenu d'invalide. En l'absence d'un revenu effectivement réalisé - soit lorsque la personne assurée, après la survenance de l'atteinte à la santé, n'a pas repris d'activité lucrative ou alors aucune activité normalement exigible -, le revenu d'invalide peut être évalué sur la base de salaires fondés sur les données statistiques résultant de l'Enquête suisse sur la structure des salaires (ESS) ou sur les données salariales résultant des descriptions de postes de travail établies par la CNA (<ref-ruling> consid. 5.2 p. 301; <ref-ruling> consid. 4.2.1 p. 475).
4.2.3 A la suite de son licenciement (prenant effet au 31 janvier 2007), la recourante n'a pas repris l'exercice de son activité professionnelle antérieure. Elle n'était donc plus à même d'y réaliser effectivement un salaire égal au 60 % de ce qu'elle gagnait avant la survenance de l'atteinte à la santé ayant entraîné une diminution de sa capacité de travail. Dans ces circonstances, il n'était pas possible, au regard des règles jurisprudentielles rappelées ci-avant, de déterminer le degré d'invalidité en tenant compte pour le revenu d'invalide du salaire tiré de l'ancienne activité professionnelle que la recourante n'exerçait plus depuis cinq ans et qu'elle ne pouvait plus réaliser en pratique en raison de son licenciement. Toutefois, les considérations des premiers juges à ce sujet ne portent pas à conséquence, dès lors qu'ils ont également calculé le taux d'invalidité en tenant compte d'un revenu d'invalide statistique.
4.2.3 A la suite de son licenciement (prenant effet au 31 janvier 2007), la recourante n'a pas repris l'exercice de son activité professionnelle antérieure. Elle n'était donc plus à même d'y réaliser effectivement un salaire égal au 60 % de ce qu'elle gagnait avant la survenance de l'atteinte à la santé ayant entraîné une diminution de sa capacité de travail. Dans ces circonstances, il n'était pas possible, au regard des règles jurisprudentielles rappelées ci-avant, de déterminer le degré d'invalidité en tenant compte pour le revenu d'invalide du salaire tiré de l'ancienne activité professionnelle que la recourante n'exerçait plus depuis cinq ans et qu'elle ne pouvait plus réaliser en pratique en raison de son licenciement. Toutefois, les considérations des premiers juges à ce sujet ne portent pas à conséquence, dès lors qu'ils ont également calculé le taux d'invalidité en tenant compte d'un revenu d'invalide statistique.
4.3 4.3.1 Concernant la détermination du revenu d'invalide, la recourante fait grief à la juridiction cantonale de s'être fondée sur les salaires statistiques de niveau de qualification 3 ("connaissances professionnelles spécialisées"), alors qu'elle n'est au bénéfice d'aucune formation professionnelle. Par ailleurs, elle soutient que les formations suivies au sein de X._, dont a tenu compte la juridiction cantonale, ne sont pas reconnues par les autres entreprises.
4.3.2 Il est vrai que la recourante ne dispose pas d'un certificat fédéral de capacité (CFC) d'employée de commerce. Cette absence de diplôme est toutefois largement compensée par les trente années passées au service de X._ et l'expérience qu'elle a pu y acquérir. Ainsi, au regard des postes occupés par la recourante, notamment ceux de conseillère au service de la clientèle privée et de cheffe de groupe au secteur de la clientèle, ainsi que des tâches qui lui étaient dévolues - lesquelles incluaient également la formation de nouveaux collaborateurs (cf. certificat de travail établi le 31 janvier 2007 par l'employeur) -, il n'apparaissait pas arbitraire de la part des premiers juges de retenir qu'elle disposait d'une solide expérience dans le domaine de la gestion des comptes et qu'elle avait l'habitude des responsabilités. Par ailleurs, il n'était pas non plus insoutenable de prendre en compte les formations suivies par la recourante, dans la mesure où - si l'on en croit leur contenu (cf. attestations annexées à la demande de prestations AI du 22 septembre 2005) - elles ont de toute vraisemblance contribué à l'amélioration des connaissances professionnelles de l'intéressée et ce, même si elles portaient essentiellement sur des services proposés par X._ et ne duraient (pour certaines) pas plus d'une journée. Au vu de l'ensemble de ces éléments, la juridiction cantonale n'est pas tombée dans l'arbitraire en admettant que la recourante disposait des qualifications professionnelles requises pour exercer une activité de niveau de qualification 3.
4.3.3 En ce qui concerne le domaine d'activité retenu, à savoir celui des activités financières et des assurances, la recourante le juge trop spécifique et inadapté à ses compétences, sans qu'elle ne fournisse au demeurant d'autres explications.
Il ressort pourtant du certificat de travail du 31 janvier 2007 établi par son ancien employeur que la recourante a travaillé pendant presque vingt ans à l'office Y._, puis pendant dix ans à l'Operations Center Z._, où elle a d'abord été nommée cheffe de groupe à l'unité d'affaires W._ avant de travailler en tant que collaboratrice au service de la clientèle privée. Dès lors que la recourante a effectué toute sa carrière professionnelle dans des activités relevant du domaine de la finance, il n'était pas arbitraire de considérer que c'était dans ce type d'activité qu'elle était le mieux à même de mettre pleinement à profit sa capacité de travail résiduelle.
5. Au vu de ce qui précède, le recours se révèle mal fondé et doit être rejeté.
6. La recourante, qui succombe, supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1ère phrase, LTF). En outre, elle ne peut prétendre une indemnité de dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 octobre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen