Faits:
A. S._ travaillait en qualité de concierge à temps partiel. Souffrant de séquelles d'une poliomyélite à la jambe gauche, de spondylarthrose L5-S1 ainsi que d'une lésion de la coiffe des rotateurs à l'épaule droite, elle a cessé de travailler le 17 septembre 2004. Le 6 octobre 2004, l'intéressée a déposé une demande de prestations de l'assurance-invalidité, sous forme d'une rente. Des renseignements médicaux recueillis, il ressortait que la capacité de travail résiduelle de l'assurée était nulle dans son activité de concierge mais de 50 % dans une activité adaptée à ses limitations fonctionnelles. L'office cantonal de l'assurance-invalidité de Genève (ci-après: l'OCAI) a également procédé à une enquête économique sur le ménage, dont il ressort un empêchement de 40 % dans l'accomplissement des travaux habituels (cf. rapport du 31 août 2006). Par décision du 29 janvier 2007, l'OCAI a rejeté la demande de prestations, motif pris que le taux global d'invalidité, fixé à 33 % conformément à la méthode mixte d'évaluation, était insuffisant pour donner droit à une rente.
B. Par jugement du 21 mai 2008, le Tribunal des assurances du canton de Genève a partiellement admis le recours interjeté par l'assurée, annulé la décision de l'OCAI du 29 janvier 2007 et constaté que S._ avait droit à un quart de rente d'invalidité à partir du 1er septembre 2005.
C. L'OCAI interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conteste uniquement le degré d'invalidité retenu par la juridiction cantonale pour la part que l'intimée consacre à une activité lucrative et assortit son recours d'une demande d'effet suspensif.
D. Invitée à se déterminer sur le recours, la juridiction cantonale a reconnu avoir commis une erreur de report du revenu sans invalidité dans le calcul final du taux d'invalidité. Elle a précisé qu'en comparant le revenu sans invalidité de 8'806 fr. avec le revenu d'invalide de 7'385 fr. 60 ([8'806 - 7'385 x 100 / 8'806] x 25 %), on obtenait un taux d'invalidité dans l'activité lucrative de 4 %. Compte tenu du taux d'invalidité de 30 % (40 % x 75 %) dans l'activité ménagère, le taux global d'invalidité de l'intimée était de 34 % et non de 40 %, de sorte que le dispositif de son jugement aurait dû conclure au rejet du recours.
Pour sa part, l'intimée conclut préalablement au rejet de la requête d'effet suspensif. Sur le fond et sous suite de frais et dépens, elle demande la confirmation du jugement attaqué.

Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Toutefois, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF - sanctionnée par l'irrecevabilité des recours dont la motivation est manifestement insuffisante (art. 108 al. 1 let. b LTF) -, le Tribunal fédéral n'examine en principe que les griefs invoqués. Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
1.2 En ce qui concerne l'évaluation de l'invalidité, les principes relatifs au pouvoir d'examen développés dans l'<ref-ruling> (en relation avec l'art. 132 OJ dans sa version en vigueur du 1er juillet au 31 décembre 2006) continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application qu'elle fait du droit (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (<ref-ruling> consid. 3.2 p. 398). Les règles légales et jurisprudentielles sur la manière d'effectuer la comparaison des revenus relèvent de questions de droit. Sous cet angle, la constatation des deux revenus hypothétiques à comparer est une question de fait, dans la mesure où elle repose sur une appréciation concrète des preuves; il s'agit en revanche d'une question de droit dans la mesure où elle se fonde sur l'expérience générale de la vie. Ainsi, relèvent du droit les questions de savoir si les salaires statistiques de l'ESS sont applicables, quel tableau statistique est déterminant et s'il y a lieu de procéder à un abattement en raison de circonstances particulières (liées au handicap de la personne ou d'autres facteurs). L'application des chiffres contenus dans les tableaux déterminants de l'ESS est une question de fait. L'étendue de l'abattement (justifié dans un cas concret) constitue une question relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé celui-ci de manière contraire au droit, soit qu'elle a commis un excès positif (Ermessensüberschreitung) ou négatif (Ermessensunterschreitung) de son pouvoir d'appréciation (<ref-ruling> consid. 3.3 p. 399).
1.3 Le jugement entrepris expose correctement les dispositions légales en matière d'évaluation de l'invalidité selon la méthode mixte (art. 28 al. 2ter LAI en corrélation avec les art. 27bis RAI et 16 LPGA), de sorte qu'il suffit d'y renvoyer. On ajoutera que selon la jurisprudence, lorsqu'il convient d'évaluer l'invalidité d'un assuré selon la méthode mixte, l'invalidité des assurés pour la part qu'ils consacrent à leur activité lucrative doit être déterminée selon la méthode ordinaire de la comparaison des revenus. Concrètement, lorsque l'assuré ne peut plus exercer (ou plus dans une mesure suffisante) l'activité qu'il effectuait à temps partiel avant la survenance de l'atteinte à la santé, le revenu qu'il aurait pu obtenir effectivement dans cette activité (revenu sans invalidité) est comparé au revenu qu'il pourrait raisonnablement obtenir en dépit de son atteinte à la santé (revenu avec invalidité). Autrement dit, le dernier salaire que l'assuré aurait pu obtenir compte tenu de l'évolution vraisemblable de la situation jusqu'au prononcé de la décision litigieuse - et non celui qu'il aurait pu réaliser s'il avait pleinement utilisé ses possibilités de gain (<ref-ruling> consid. 5c/bb p. 154) - est comparé au gain hypothétique qu'il pourrait obtenir sur un marché équilibré du travail en mettant pleinement à profit sa capacité résiduelle dans un emploi adapté à son handicap, abstraction faite du taux d'activité antérieur à l'atteinte à la santé (<ref-ruling> consid. 5c/bb p. 157).
2. 2.1 L'office recourant conteste uniquement le calcul du taux d'invalidité présenté par l'assurée dans son activité lucrative. Il soutient qu'en comparant les revenus sans invalidité et d'invalide retenus par la juridiction cantonale, on obtient un taux de 33,25 % ([11'064.30 - 7'385.60] x 100 / 11'064.30), lequel doit être ramené à 8,31 % (33,25 % x 25 %) pour tenir compte du taux d'activité professionnelle de l'assurée. Au vu du taux d'invalidité de 30 % dans l'activité ménagère (40 % x 75 %), lequel n'est pas contesté, il en résulterait un taux global d'invalidité de 38,31 % (8,31 % + 30 %).
Ne remettant en cause ni le taux de capacité de travail résiduelle (50 % dans une activité adaptée), ni le revenu sans invalidité retenus par les premiers juges, l'intimée conteste en revanche le revenu d'invalide retenu par la juridiction cantonale. Elle estime que ce n'est pas la valeur moyenne statistique de l'ensemble des activités simples et répétitives qui doit être prise en compte, mais bien plutôt le revenu d'invalide qui résulte du salaire statistique servi dans le secteur de l'hôtellerie et la restauration.
2.2 En l'espèce, les premiers juges ont retenu que si l'assurée avait été en bonne santé, elle aurait consacré 25 % de son temps à l'exercice de son activité professionnelle et le reste (75 %) à l'accomplissement de ses travaux habituels, la méthode mixte d'évaluation de l'invalidité étant par conséquent applicable au présent cas. L'autorité cantonale a fixé à 40 % l'empêchement présenté par l'assurée dans l'activité ménagère et, partant, à 30 % (40 % x 75 %) le taux d'invalidité pour les tâches ménagères. D'après les renseignements médicaux auxquels la juridiction cantonale avait accordé pleine valeur probante, l'assurée disposait d'une capacité résiduelle de travail de 50 % dans une activité adaptée à son handicap. Procédant à l'évaluation de l'invalidité de l'assurée pour la part consacrée à son activité lucrative, les premiers juges ont retenu un revenu sans invalidité de 8'806 fr., lequel correspondait au dernier salaire effectivement réalisé par l'assurée, compte tenu de l'évolution des salaires jusqu'en 2005. Ils ont toutefois considéré que ce salaire était très nettement inférieur à celui, pour la même année, que réalisaient des travailleuses non qualifiées du secteur de l'hôtellerie et de la restauration, domaine le plus proche de celui dans lequel travaillait l'assurée, selon eux, et parmi les plus bas du secteur des services. Ce dernier étant de 11'064 fr. 30 au taux d'activité de 25 % (cf. jugement attaqué p. 20), la différence par rapport au salaire effectivement réalisé par l'assurée (8'806 fr.) était de 20 %. La juridiction cantonale a retenu qu'il y avait lieu d'en tenir compte pour déterminer le revenu d'invalide.
Au titre du revenu d'invalide, les juges cantonaux se sont fondés sur le salaire statistique des femmes effectuant des activités simples et répétitives dans le secteur privé en 2004, soit 3'893 fr. par mois ou 46'716 fr. par an. Après l'avoir adapté à l'évolution des salaires et à l'horaire de travail en 2005 (49'237 fr. 30), puis au taux d'activité de 25 % (12'309 fr. 30), les premiers juges ont ensuite réduit ce montant de 20 % pour tenir compte de la différence du même ordre existant entre le revenu réalisé avant l'invalidité et le salaire moyen de l'époque dans la branche considérée, soit 9'847 fr. 45 (12'309 fr. 30 - 20 %). En tenant compte encore d'un abattement de 25 %, la juridiction cantonale a fixé le revenu d'invalide à 7'385 fr. 60 (9'847 fr. 45 - 25 %), qu'elle a comparé au montant de 12'309 fr. 30. Elle a ainsi retenu un taux d'invalidité dans l'activité lucrative de 40 % ([12'309. 30 - 7'385. 60] / 12'309. 30 x 100).
3. 3.1 Comme le fait valoir à juste titre le recourant, le calcul du taux d'invalidité précité est erroné. Il ne s'agit cependant pas d'une simple erreur de calcul ou de report du revenu sans invalidité dans le calcul du taux d'invalidité. La juridiction cantonale n'a pas évalué l'invalidité pour la part consacrée à l'activité lucrative de manière conforme au droit, dès lors qu'elle n'a pas appliqué les règles jurisprudentielles rappelées ci-avant (cf. consid. 1.3).
3.2 Pour fixer le revenu d'invalide, il y a lieu de prendre en considération le salaire auquel peuvent prétendre les femmes effectuant des activités simples et répétitives dans le secteur privé, à savoir, durant l'année 2005, 3'893 fr. (Enquête suisse sur la structure des salaires 2004, TA1, niveau de qualification 4, tous secteurs confondus). En l'absence d'un revenu effectivement réalisé, cette valeur statistique s'applique en principe à toutes les assurées qui ne peuvent plus accomplir leur ancienne activité parce qu'elle est physiquement trop astreignante pour leur état de santé, mais qui conservent néanmoins une capacité de travail importante dans des travaux légers. Pour ces assurées, ce salaire statistique est en effet suffisamment représentatif de ce qu'elles seraient en mesure de réaliser en tant qu'invalides dès lors qu'il recouvre un large éventail d'activités variées et non qualifiées, n'impliquant pas de formation particulière, et compatibles avec des limitations fonctionnelles peu contraignantes (cf. arrêt I 171/04 du 1er avril 2005, publié in: REAS 2005 p. 240). Adapté à l'évolution des salaires de 2004 à 2005 (+ 1 %; La Vie économique 10-2008 p. 95, B 10.2) ainsi qu'à l'horaire hebdomadaire de 41,6 heures valable dans les entreprises en 2005 (La Vie économique 10-2008 p. 94, B 9.2), ce montant représente un revenu de 4'089 fr. 20 par mois, soit un revenu annuel brut de 49'070 fr. 40. Compte tenu d'une capacité résiduelle de travail de 50 % (cf. consid. 1.3) et d'un abattement de 25 % en raison des limitations fonctionnelles et de l'âge de l'assurée (cf. <ref-ruling>), le salaire d'invalide correspond à 18'401 fr. 40, soit un montant nettement supérieur au revenu sans invalidité. On peut se demander si c'est à juste titre que la juridiction cantonale a retenu une réduction supplémentaire du revenu d'invalide au titre d'une rémunération avant invalidité particulièrement défavorable. Cette question peut toutefois rester ouverte dès lors que même s'il y avait lieu de procéder à une réduction de 20 % du revenu d'invalide (18'401 fr. 40 - 20 %), on obtiendrait un montant de 14'721 fr. 10, lequel serait toujours supérieur au revenu avant l'invalidité. Par conséquent, l'assurée ne subit aucune invalidité sur le plan de son activité lucrative. Son degré d'invalidité globale correspond ainsi à celui présenté dans l'exercice de ses travaux habituels, à savoir 30 % (cf. consid. 2.2), et n'ouvre pas droit à une rente.
4. Au vu de ce qui précède, le recours doit être admis et la décision attaquée annulée. Etant donné l'issue de la procédure, la demande d'effet suspensif n'a plus d'objet. Succombant, l'intimée devrait en principe supporter les frais judiciaires (art. 66 al. 1, 1ère phrase, LTF); compte tenu des circonstances, il se justifie cependant de statuer sans frais (art. 66 al. 1, 2ème phrase, LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement du Tribunal cantonal des assurances sociales de la République et canton de Genève du 21 mai 2008 est annulée.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal des assurances sociales de la République et canton de Genève et à l'Office fédéral des assurances sociales.
Lucerne, le 14 novembre 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz