Faits:
A. Par contrat du 14 décembre 1994, la SI A._ a remis à bail à X._ (ci-après: la locataire) un appartement de deux pièces et demie sis au deuxième étage d'un immeuble dont elle était propriétaire. Le loyer annuel convenu entre les parties était fixé à 6'648 fr., charges non comprises. A l'époque de la conclusion du bail, divers logements de l'immeuble étaient squattés.
Au milieu de l'année 2001, Y._ (ci-après: la bailleresse) est devenue propriétaire de l'immeuble en question. Elle a engagé diverses mesures en vue d'obtenir la libération des appartements occupés illicitement et de procéder à leur rénovation ainsi qu'à celle de l'immeuble. Désireuse de pouvoir également remettre à neuf des logements occupés du bâtiment, elle a proposé à ses locataires réguliers de prendre en location les appartements rénovés en échange des leurs.
C'est ainsi que le 9 mars 2004, les parties ont conclu un nouveau contrat de bail aux termes duquel la bailleresse louait à la locataire un appartement de trois pièces et demie sis au rez-de-chaussée de l'immeuble, pour un loyer annuel, charges non comprises, de 16'800 fr. pour la période du 15 mars 2004 au 31 mai 2007 et de 17'520 fr. du 1er juin 2007 au 31 mai 2008. A cette occasion, la bailleresse a remis à la locataire un avis officiel de fixation du loyer reprenant les conditions susmentionnées et précisant que le loyer convenu constituait une "adaptation partielle aux loyers usuels dans le quartier, article 269a, lit. a du CO". Le loyer du précédent locataire n'était pas mentionné.
B. Le 1er avril 2004, la locataire a saisi la Commission de conciliation en matière de baux et loyers du canton de Genève d'une requête en contestation de son loyer initial, en faisant valoir qu'elle avait accepté de conclure le dernier bail parce qu'elle se trouvait à l'étroit dans l'appartement de deux pièces et demie qu'elle occupait précédemment avec sa fille. Elle a allégué que ce n'était qu'au moment de la signature du bail qu'elle avait eu connaissance du loyer et de l'échelon y relatifs. Elle a indiqué que le loyer initial lui paraissait élevé, dans la mesure où en raison des dispositions légales genevoises applicables à la rénovation de logements, son nouveau loyer n'aurait pas dû dépasser 3'225 fr. la pièce par an, alors qu'il s'élevait à 4'800 fr. par pièce et par année. Elle a également relevé que l'avis officiel de fixation du loyer n'indiquait pas le dernier loyer annuel. Elle a conclu à ce que son loyer annuel initial soit ramené à 11'280 fr., charges non comprises, dès le 15 mars 2004, à ce que l'échelon convenu dès le 1er juin 2007 soit annulé, à ce que la bailleresse soit condamnée à lui rembourser le trop-perçu découlant de la révision du loyer et à ce que sa garantie bancaire soit réduite à 2'820 francs.
Le 5 juillet 2004, la locataire a porté la cause, non conciliée, devant le Tribunal des baux et loyers du canton de Genève. Le 25 octobre 2004, elle a brièvement complété sa requête du 1er avril 2004 en faisant valoir que l'état général de l'immeuble, comme celui de son logement, demeurait moyen, ce bâtiment n'étant situé ni dans un quartier calme, ni à proximité de zones de verdure. Dans ses conclusions du 7 novembre 2006, elle a fait valoir, à titre principal, que le loyer initial convenu avec la bailleresse devait être déclaré nul, dans la mesure où il s'avérait contraire aux dispositions de la loi genevoise sur les démolitions, transformations et rénovations de maisons d'habitation (mesures de soutien en faveur des locataires et de l'emploi) du 25 janvier 1996 (LDTR/GE; RSG L 5 20). Subsidiairement, elle a soutenu que ce loyer ne correspondait pas à ceux pratiqués dans le quartier pour des objets analogues; elle n'a fourni aucune indication particulière pour justifier cette allégation, se contentant d'affirmer qu'il revenait à sa bailleresse de démontrer le bien-fondé de sa prétention consistant à fixer son loyer initial à 16'800 fr. au mois de mars 2004 et 17'720 fr. au 1er juin 2007.
Par jugement du 18 juin 2007, le Tribunal des baux et loyers a fixé le loyer annuel initial de l'appartement litigieux à 16'800 fr., charges non comprises, dès le 15 mars 2004, et annulé l'échelon de loyers de 17'520 fr. qui devait entrer en vigueur le 1er juin 2007.
Par arrêt du 3 mars 2008, la Chambre d'appel en matière de baux et loyers du canton de Genève a rejeté l'appel interjeté par la locataire contre le jugement du 18 juin 2007. Elle a considéré que dans ses diverses écritures au Tribunal des baux et loyers, la locataire avait soutenu que le loyer initial convenu s'avérait contraire aux limites maximales fixées par la LDTR/GE et que l'échelon ultérieur devait lui aussi être déclaré illicite, puisqu'il ne correspondait pas aux loyers pratiqués pour des logements analogues, situés dans le quartier. Plus précisément, la locataire s'était effectivement plainte, dans son écriture du 7 novembre 2006, de ce que ni le loyer initial, ni l'échelon ne correspondaient au montant des loyers pratiqués dans le quartier pour des objets identiques. Cependant, force était de constater que cette écriture avait été déposée tardivement, puisque la cause revenait pour plaider devant le Tribunal des baux et loyers le 13 novembre 2006. Or, l'art. 434 de la loi genevoise de procédure civile du 10 avril 1987 (LPC/GE; E 3 05) ne pouvait avoir pour objet de rendre inopérant l'<ref-law>/GE, de sorte que si les parties pouvaient déposer des conclusions motivées dix jours avant la plaidoirie, ce n'était que dans le cadre de faits allégués en temps utile. Dans ces circonstances, c'était manifestement à tort que la locataire reprochait au Tribunal de ne pas avoir statué sur son loyer initial en prenant en compte le critère des loyers comparatifs, dès lors qu'elle s'était limitée à contester la validité de ce loyer initial en invoquant des dispositions de la LDTR/GE. Les premiers juges avaient correctement contrôlé la conformité du loyer initial au regard des dispositions précitées et de l'autorisation de construire délivrée par le département compétent. Dans ces circonstances, ceux-ci n'avaient pas à interpeller les parties quant à la production d'exemples de loyers comparatifs pour statuer sur le loyer initial pertinent. Enfin, la locataire ne pouvait soutenir qu'elle avait développé une argumentation "implicite" selon laquelle son loyer initial n'aurait pas été conforme aux loyers usuels du quartier. En effet, de manière tout-à-fait explicite, elle ne s'était référée à ce critère que pour contester l'échelon ultérieur convenu avec la bailleresse. Dans ces conditions, il apparaissait que le loyer annuel initial de 16'800 fr., charges non comprises, prévu dans le bail n'avait pas été correctement contesté par la locataire, d'ou le rejet de son appel.
C. La locataire (la recourante) a interjeté un recours en matière civile au Tribunal fédéral. Elle concluait principalement à l'annulation de l'arrêt du 3 mars 2008 ainsi que du jugement du 18 juin 2007 et à la fixation du loyer annuel de son appartement à 12'621 fr., charges non comprises, dès le 15 mars 2004, à la condamnation de la bailleresse à lui rembourser le trop-perçu de loyer avec intérêt et à la réduction de la garantie bancaire à 3'153 fr., le solde étant libéré en sa faveur. Elle prétendait subsidiairement au renvoi de la cause à la cour cantonale pour complément d'instruction et nouvelle décision, avec suite de frais et dépens. Dans un envoi postérieur au dépôt de son mémoire, elle a également déposé une demande d'assistance judiciaire, qui a été admise par ordonnance du 10 juillet 2008. La bailleresse (l'intimée) a proposé le rejet du recours, sous suite de frais et dépens.

Considérant en droit:
1. 1.1 Interjeté par la recourante qui a été déboutée de ses conclusions (<ref-law>) et dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire dont la valeur litigieuse atteint le seuil de 15'000 fr. (cf. <ref-law>; <ref-ruling> consid. 1) déterminant dans les causes de droit du bail à loyer (<ref-law>), le présent recours en matière civile est en principe recevable, puisqu'il a été déposé dans le délai, compte tenu des féries (art. 46 al. 1 let. a et art. 100 al. 1 LTF), et la forme (<ref-law>) prévus par la loi.
1.2 Le recours en matière civile peut être formé pour violation du droit fédéral (<ref-law>), y compris les droits constitutionnels (<ref-ruling> consid. 1.2 p. 382). Saisi d'un tel recours, le Tribunal fédéral applique le droit d'office (<ref-law>) sur la base des faits établis par l'autorité précédente (<ref-law>), que le recours ne peut critiquer que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3) - ou en violation du droit au sens de l'<ref-law>, et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). En l'occurrence, les considérations factuelles présentées par la recourante ne seront prises en compte que si elles ressortent de l'arrêt entrepris ou si celle-ci démontre qu'une exception telle que définie ci-dessus est réalisée.
1.3 Le Tribunal fédéral n'est lié ni par les moyens invoqués par les parties ni par l'argumentation juridique retenue par la juridiction cantonale; il peut dès lors admettre le recours pour d'autres motifs que ceux invoqués par la partie recourante, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 1.1 p. 104).
2. Invoquant l'art. 19 al. 1 et 3 de l'ordonnance fédérale sur le bail à loyer et le bail à ferme d'habitations et de locaux commerciaux du 9 mai 1990 (OBLF; RS 221.213.11), l'<ref-law>, le pouvoir de cognition étendu du juge en cas de vice de forme ainsi que l'<ref-law>, la recourante reproche en substance à la cour cantonale d'avoir violé le droit fédéral en ignorant que l'intimée n'avait indiqué, sur l'avis officiel, ni l'ancien locataire ni le montant de l'ancien loyer, vice qui aurait pour conséquence la nullité du loyer initial et l'obligation pour le juge de le fixer à nouveau sur la base des éléments de preuve fournis par les parties ainsi que les circonstances du cas.
2.1 Dans le canton de Genève, le bailleur a l'obligation de communiquer au locataire le montant du loyer antérieurement perçu; à cette fin, il doit user d'une formule agréée par l'autorité (cf. <ref-law> et art. 24 de la loi genevoise d'application du code civil et du code des obligations du 7 mai 1981 [LaCC/GE; RSG E 1 05]).
Lorsqu'un appartement fait l'objet d'une première location, il convient de faire figurer sur la formule officielle qu'il n'y a pas de précédent locataire et qu'il s'agit d'une première location, en lieu et place du précédent loyer. La situation est analogue lorsque la chose louée n'est plus la même par rapport au précédent bail, c'est-à-dire lorsque le logement a subi des transformations telles que sa surface s'en trouve notablement modifiée ou que le nombre de pièces n'est plus identique (sur la notion de "même chose" au sens de l'<ref-law>, cf. arrêt 4C.169/2002 du 16 octobre 2002, reproduit in MietRecht Aktuell [MRA] 2003 p. 1, consid. 3.2 p. 5 s.). En revanche, des travaux d'entretien ou de rénovation plus ou moins lourds ne permettent pas à eux seuls de considérer qu'il s'agit d'une première location. L'indication du montant du précédent loyer sur la formule officielle est alors impérative (FETTER, La contestation du loyer initial, Etude de l'article 270 CO, thèse Berne, Berne 2005, n. 189 p. 87; contra HIGI, Commentaire zurichois, n. 56 ad <ref-law>).
S'il advient que cette communication soit omise entièrement, différée plus de trente jours après la délivrance des locaux ou entachée d'un vice de forme, le contrat est nul en tant qu'il détermine le loyer (<ref-ruling> p. 64 in initio; <ref-ruling> consid. 2c p. 58; <ref-ruling> consid. 5b à 5d p. 348). En pareille situation, même si aucune des conditions particulières de l'art. 270 al. 1 let. a ou b CO n'est réalisée, le locataire peut saisir d'abord l'autorité de conciliation, puis le juge, en vue de faire fixer le loyer (cf. arrêt 4C.428/2004 du 1er avril 2005, reproduit in SJ 2006 I 19, consid. 3.1).
2.2 En l'espèce, il a été constaté en fait que l'avis officiel de fixation du loyer ne mentionnait pas le montant du loyer payé par l'ancien locataire et il n'apparaît pas que l'appartement litigieux ait subi des rénovations telles qu'il ne s'agisse plus de la "même chose", de sorte que l'indication, sur la formule officielle, de l'ancien loyer du logement en question était nécessaire.
Or, dans un avis de ce genre, avec l'indication des motifs d'une éventuelle hausse, l'indication du loyer antérieur est essentielle pour permettre au nouveau locataire de se déterminer en toute connaissance de cause et de choisir entre contester le loyer convenu ou, au contraire, s'en accommoder (<ref-ruling> consid. 4b p. 366 et les arrêts cités). Par conséquent, même si le locataire reçoit l'information manquante par une autre voie, l'absence de l'indication du loyer antérieur, dans l'avis de fixation du loyer initial, constitue un vice dirimant de la communication régie par l'<ref-law> (cf. ATF <ref-ruling> consid. 5b p. 348).
En l'occurrence, il s'ensuit donc la nullité partielle du contrat litigieux pour ce qui est de la fixation du montant du loyer initial.
Cela étant, l'intimée plaide vainement que la recourante commettrait un abus de droit en invoquant le vice de forme en question. A cet égard, elle allègue d'ailleurs à tort que son adverse partie l'aurait fait pour la première fois devant le Tribunal fédéral, dès lors qu'il ressort de l'état de fait de la décision entreprise que devant la Commission de conciliation, la recourante avait également relevé que l'avis officiel de fixation du loyer lors de la conclusion du nouveau bail qui lui avait été présenté ne comportait pas l'indication du dernier loyer annuel. Quoi qu'il en soit, il n'apparaît pas que la recourante ait eu conscience d'emblée du vice de forme et qu'elle se soit abstenue intentionnellement de le faire valoir immédiatement afin d'en tirer avantage par la suite, conditions auxquelles un abus de droit aurait le cas échéant pu entrer en considération (cf. <ref-ruling> consid. 3c p. 75; <ref-ruling> consid. 1b; plus récemment arrêt 4C.428/2004 du 1er avril 2005, reproduit in SJ 2006 I 19, consid. 3.1).
2.3 En cas de nullité partielle du contrat pour ce qui est de la fixation du montant du loyer initial, le juge a l'obligation de compléter le contrat.
La jurisprudence prévoit que le juge appelé à fixer le loyer initial doit fonder sa décision sur toutes les circonstances du cas (arrêt 4C.428/2004 du 1er avril 2005, reproduit in SJ 2006 I 19, consid. 3.1). Les facteurs à prendre en considération comprennent notamment le montant admissible selon l'<ref-law>, les loyers non abusifs pratiqués dans le quartier et le loyer payé par le précédent locataire (ATF <ref-ruling> consid. 6c p. 351; cf. également <ref-ruling> consid. 2b p. 64), étant précisé que ce dernier critère n'entre en général en ligne de compte que lorsque le juge ne dispose pas des éléments lui permettant de procéder à un calcul de rendement (arrêt 4C.274/1997 du 27 avril 1998, reproduit in SJ 1998 p. 718, consid. 4b/aa p. 720). Le juge exerce un pouvoir d'appréciation plus étendu que dans la procédure en contestation d'un loyer communiqué selon les formes prescrites; il n'a pas à limiter son intervention au cas où le loyer convenu par les parties est abusif. Le loyer convenu constitue la limite supérieure du loyer à fixer. Conformément aux règles de la bonne foi, le bailleur ne peut en effet pas réclamer plus que la contre-prestation pour laquelle il était prêt à louer les locaux à l'origine. Il ne doit pas non plus tirer un bénéfice du vice qui lui est imputable et se trouver dans une situation plus favorable que s'il avait observé les formes requises. De ce point de vue, il incombe au juge d'examiner si le bailleur n'a pas omis de recourir à la forme prescrite de manière abusive, afin d'empêcher toute contestation de la part du locataire. Face à un tel procédé, il peut alors se justifier, en cas de différence sensible entre le loyer convenu et celui antérieurement perçu, de fixer le loyer initial à la hauteur de ce dernier, par application analogique de l'<ref-law> (ATF <ref-ruling> consid. 6c p. 351; cf. également <ref-ruling> consid. 2b p. 64. Ces principes valent sous réserve de circonstances particulières (arrêt 4C.274/1997 du 27 avril 1998, reproduit in SJ 1998 p. 718, consid. 4b/aa p. 720), et il faut en particulier prendre en considération l'éventuelle rénovation de la chose louée (cf. SVIT-Kommentar Mietrecht, 3e éd., Zurich 2008, n. 37 ad <ref-law>, p. 672 in fine).
Dès lors qu'en l'occurrence, la fixation du loyer était entachée d'un vice de forme et, partant, frappée de nullité, les autorités cantonales auraient dû appliquer la méthode rappelée ci-dessus pour déterminer le loyer adéquat, en fonction de toutes les circonstances du cas, sans se limiter aux moyens invoqués par les parties - étant précisé que la situation diffère de celle où le juge doit uniquement examiner le caractère potentiellement abusif d'un loyer non nul, hypothèse dans laquelle il restreint son examen aux facteurs invoqués par les parties (cf. <ref-ruling> consid. 4c), raison pour laquelle l'argumentation de l'intimée fondée notamment sur l'<ref-law> ne résiste pas à l'examen. En ne le faisant pas, elles ont violé le droit fédéral. Dès lors, il convient d'admettre le recours, d'annuler l'arrêt attaqué et de renvoyer l'affaire à la cour cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants, à la lumière de l'ensemble des circonstances de l'espèce, notamment en tenant compte de la rénovation de l'appartement litigieux.
Il y a encore lieu de préciser qu'alors même qu'en l'espèce, le loyer a été soumis au contrôle étatique prévu par la LDTR/GE, la cause doit être examinée au regard des <ref-law>. En effet, le droit cantonal n'entre pas du tout en ligne de compte. Sous l'angle de la primauté du droit fédéral, les cantons ne peuvent pas intervenir dans les relations entre bailleur et locataire - étant précisé que les cantons demeurent cependant libres d'édicter des mesures destinées à combattre la pénurie sur le marché locatif, par exemple en soumettant à autorisation la démolition, la transformation et la rénovation de maisons d'habitation (<ref-ruling> consid. 2.2. p. 336). La LDTR/GE ne saurait donc empiéter sur un domaine régi par le droit fédéral et en entraver l'application (<ref-ruling> consid. 4b/aa; plus récemment arrêt 4C.139/1996 du 13 mars 1997, reproduit in SJ 1997 p. 495, consid. 3b/aa p. 495 s.).
3. Compte tenu de l'issue du litige, les frais et dépens sont mis à la charge de l'intimée, qui succombe (art. 66 al. 1 et art. 68 al. 1 LTF). Comme la recourante a obtenu l'assistance judiciaire, les honoraires de son avocat d'office, fixés dans le dispositif du présent arrêt, seront supportés par la Caisse du Tribunal fédéral au cas où les dépens ne pourraient être recouvrés (cf. art. 64 al. 2 in fine LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt attaqué est annulé et l'affaire renvoyée à la cour cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge de l'intimée.
3. Une indemnité de 3'500 fr., à verser à la recourante à titre de dépens, est mise à la charge de l'intimée. Au cas où ces dépens ne pourraient être recouvrés, la Caisse du Tribunal fédéral versera cette somme à l'avocat d'office de la recourante.
4. Le présent arrêt est communiqué en copie aux mandataires des parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 24 septembre 2008
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Corboz Cornaz