Faits:
A. E._ est propriétaire d'un immeuble sis au n° 4 de la rue de l'Ancien-Port, à Genève, en deuxième zone de constructions. Le 20 octobre 2008, elle a déposé une demande définitive d'autorisation de construire deux appartements de quatre pièces dans les combles, publiée dans la Feuille d'avis officielle de la République et canton de Genève du 5 novembre 2008. A._, B._, C._ et D._, tous locataires de l'immeuble, ont fait part de leur opposition à ce projet au Département des constructions et des technologies de l'information de la République et canton de Genève.
Le 28 mai 2009, ce dernier a délivré l'autorisation de construire requise moyennant l'octroi d'une dérogation selon l'art. 11 de la loi genevoise sur les constructions et les installations diverses (LCI). La Commission cantonale de recours en matière administrative a confirmé cette autorisation au terme d'une décision rendue le 25 mai 2010 sur recours des locataires précités.
Statuant par arrêt du 21 décembre 2010, le Tribunal administratif de la République et canton de Genève a rejeté le recours interjeté contre cette décision par A._, B._, C._ et D._.
B. Agissant par la voie du recours en matière de droit public, A._, B._, C._ et D._ demandent au Tribunal fédéral d'annuler cet arrêt de même que l'autorisation de construire du 28 mai 2009 et le projet n° 4 du 30 avril 2009 visé "ne varietur" le 28 mai 2009. Ils requièrent l'assistance judiciaire.
La cour cantonale a renoncé à déposer des observations et persiste dans les considérants et le dispositif de son arrêt. L'intimée et le Département des constructions et des technologies de l'information proposent de déclarer le recours irrecevable, respectivement de le rejeter.
Les recourants ont répliqué à titre individuel et par l'intermédiaire de leur conseil nouvellement constitué.
C. Par ordonnance du 1er mars 2011, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif des recourants.

Considérant en droit:
1. Dirigé contre une décision rendue dans le domaine du droit public de la police des constructions, sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée, le recours est en principe recevable comme recours en matière de droit public au sens des <ref-law>.
L'intimée conclut à tort à l'irrecevabilité du recours faute de qualité pour agir des recourants. Celle-ci est reconnue à toute personne atteinte par la décision attaquée et qui dispose d'un intérêt digne de protection à son annulation ou à sa modification au sens de l'art. 89 al. 1 let. c LTF. Selon la jurisprudence rendue en application de cette disposition, le recourant doit se trouver dans une relation spéciale, étroite et digne d'être prise en considération avec l'objet de la contestation. La proximité avec l'objet du litige ne suffit pas à elle seule à conférer au voisin, respectivement au locataire d'un immeuble la qualité pour recourir contre l'octroi d'une autorisation de construire. Celui-ci doit en outre retirer un avantage pratique de l'annulation ou de la modification de la décision contestée qui permette d'admettre qu'il est touché dans un intérêt personnel se distinguant nettement de l'intérêt général des autres habitants de la collectivité concernée de manière à exclure l'action populaire; il doit ainsi invoquer des dispositions du droit public des constructions susceptibles d'avoir une incidence sur sa situation de fait ou de droit (<ref-ruling> consid. 2.2.3 et 2.3 p. 133 ss; <ref-ruling> consid. 1.3.1 p. 252, 468 consid. 1 p. 470). Le projet litigieux priverait les recourants des greniers et du local d'étendage dont ils disposent actuellement dans les combles de l'immeuble; certains des griefs invoqués portent sur le gabarit de l'immeuble après travaux et sur les vices de forme ayant affecté la procédure qui, s'ils devaient se révéler bien fondés, pourraient aboutir à un refus de l'autorisation de construire litigieuse, à l'abandon du projet, voire à un remaniement substantiel de celui-ci, et à la mise en oeuvre d'une nouvelle enquête. Ils peuvent ainsi se prévaloir d'un intérêt de fait digne de protection à l'annulation de l'arrêt attaqué. Ils ont en outre pris part à la procédure de recours devant le Tribunal administratif et réunissent ainsi les conditions posées à l'<ref-law> pour leur reconnaître la qualité pour agir. Formé en temps utile contre une décision prise en dernière instance cantonale, le recours répond au surplus aux exigences des art. 86 al. 1 let. d et 100 al. 1 LTF.
2. Le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci (<ref-law>). Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). Pour satisfaire à cette exigence, la partie recourante doit discuter les motifs de la décision entreprise et indiquer précisément en quoi elle estime que l'autorité précédente a méconnu le droit. Il faut qu'à la lecture de son exposé, on comprenne clairement quelles règles de droit auraient été, selon elle, transgressées par l'autorité cantonale. Elle ne saurait se contenter de renvoyer aux actes cantonaux ou de reproduire la motivation déjà présentée dans la procédure cantonale (<ref-ruling> consid. 2.1-2.3 p. 246 ss; arrêt 2C_445/2008 du 26 novembre 2008 consid. 2 in RDAF 2008 II p. 528). Les griefs de violation des droits fondamentaux et des dispositions de droit cantonal sont en outre soumis à des exigences de motivation accrues (<ref-law>). La partie recourante doit alors indiquer les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés; de même, elle doit citer les dispositions du droit cantonal dont elle se prévaut et démontrer en quoi ces dispositions auraient été appliquées arbitrairement ou d'une autre manière contraire au droit (cf. <ref-ruling> consid. 2.8 p. 494; <ref-ruling> consid. 1.4 p. 287). Enfin, le Tribunal fédéral n'examine, dans la règle, que les griefs constitutionnels qui, pouvant l'être, ont été soumis à l'autorité cantonale de dernière instance et les questions qui constituaient l'objet du litige devant l'autorité précédente; il s'ensuit que le grief invoqué pour la première fois devant le Tribunal fédéral ne doit pas se confondre avec l'arbitraire. Par ailleurs, le comportement de la partie recourante ne doit pas être contraire à la règle de la bonne foi en vertu de laquelle celui qui n'invoque pas devant l'autorité de dernière instance cantonale un grief lié à la conduite de la procédure ne peut plus en principe le soulever devant le Tribunal fédéral (art. 86 al. 1 let. d LTF; <ref-ruling> consid. 2.1 p. 93). C'est à la lumière de ces principes qu'il convient d'examiner les griefs invoqués.
3. Les recourants se plaignent en premier lieu de l'absence de transport sur place. Ils n'indiquent toutefois pas la norme constitutionnelle ou du droit cantonal qui aurait été violée et se bornent à prétendre que cette mesure d'instruction n'aurait pas eu lieu sous des prétextes subjectifs et non fondés. Il est douteux que le recours réponde sur ce point aux exigences de motivation précitées. Peu importe car il est de toute manière infondé.
3.1 Le droit de faire administrer des preuves découlant du droit d'être entendu garanti par l'art. 29 al. 2 Cst. suppose que le fait à prouver soit pertinent, que le moyen de preuve proposé soit nécessaire pour constater ce fait et que la demande soit présentée selon les formes et délais prescrits par le droit cantonal. Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 148). Ces principes s'appliquent également à la tenue d'une inspection locale en l'absence d'une disposition cantonale qui imposerait une telle mesure d'instruction (<ref-ruling> consid. 2b p. 229; <ref-ruling> consid. 2b p. 202). Les recourants ne prétendent à juste titre pas que tel serait le cas de l'art. 37 let. c de la loi genevoise sur la procédure administrative (LPA-GE), sur lequel ils fondaient leur requête de transport sur place devant le Tribunal administratif (arrêt 2C_212/2008 du 3 septembre 2008 consid. 3.2). Ce dernier pouvait dès lors, comme il l'a fait, rejeter cette mesure d'instruction si l'appréciation anticipée de ceux-ci l'amenait de manière soutenable à la conclusion qu'il était superflu de l'ordonner.
3.2 Dans leur recours du 25 juin 2010 et son complément du 7 octobre 2010, les recourants sollicitaient un transport sur place pour visionner les immeubles sis aux nos 2 à 8 de la rue de l'Ancien-Port. Ils requéraient la présence d'un représentant du chauffagiste Avilag, de façon que la cour cantonale puisse visiter les locaux en sous-sol et ainsi pallier à l'absence de plan de l'état actuel. La constructrice a produit un plan des niveaux existants daté du 13 novembre 2008, qui figure la cave du bâtiment litigieux en sous-sol. Les recourants ont annoté une copie de ce plan avec les éléments qui manquaient et qui étaient selon eux nécessaires à leur compréhension et l'ont retourné le 14 janvier 2009 au Département des constructions et des technologies de l'information avec leurs commentaires. Le dossier comporte également le plan des niveaux après les travaux. Dans ces conditions, un transport sur place ne s'imposait pas pour visiter les locaux au sous-sol de l'immeuble. On ne voit pas davantage en quoi la présence du chauffagiste était requise pour apprécier la légalité des travaux prévus à ce niveau. Les photographies ainsi que les plans versés au dossier permettaient en outre de se rendre compte de l'impact de la surélévation de l'immeuble et des travaux prévus dans les combles par rapport aux immeubles contigus sans qu'il soit nécessaire de se rendre sur place. Les autres éléments sur lesquels les recourants entendaient vouloir attirer l'attention de la cour cantonale n'ont pas été évoqués à l'appui de leur demande de transport sur place. Ils portent au demeurant soit sur des questions non pertinentes pour l'issue du litige soit sur des points qui pouvaient être constatés sur la base des pièces présentes au dossier.
Les recourants auraient souhaité être entendus en présence de tous les participants à la procédure et, en particulier, de l'architecte du projet, du Département des constructions et des technologies de l'information et de la propriétaire des lieux. Ils ne prétendent pas avoir déposé une requête en ce sens dans leur recours ou son complément et n'indiquent pas quelle norme aurait été violée en statuant sur la base du dossier, de sorte que le recours ne répond pas davantage sur ce point aux exigences de motivation. Au demeurant, l'art. 29 al. 2 Cst. ne confère pas aux parties le droit d'être entendues oralement (<ref-ruling> consid. 2.1 p. 428). Au plan cantonal, l'art. 41 LPA-GE ne prévoit pas non plus un tel droit, sauf exceptions dont les recourants ne soutiennent pas l'existence dans le cas particulier.
4. Les recourants reprochent aux autorités cantonales d'avoir octroyé l'autorisation de construire sur la base d'un dossier incomplet et au terme d'une procédure entachée de nombreuses anomalies parmi lesquelles ils citent l'absence de plan de l'état actuel des sous-sols et du garage, les plans non signés au métrage faux ou encore l'absence de plan montrant l'alignement des immeubles contigus. Le Tribunal administratif a écarté ces griefs parce que les vices de forme allégués et les autres irrégularités dénoncées étaient de peu d'importance et qu'ils ne justifiaient pas l'annulation de l'autorisation de construire en vertu du principe tiré de l'interdiction du formalisme excessif. Il a par ailleurs considéré que les plans supplémentaires des façades et des toitures requis par les recourants n'étaient pas déterminants pour l'issue de la procédure au vu des documents figurant déjà au dossier et a refusé de faire droit à la requête présentée en ce sens. On cherche en vain dans le recours une argumentation qui permettrait de tenir cette motivation pour arbitraire ou d'une autre manière contraire au droit. Le recours ne satisfait donc pas sur ces différents points aux exigences de motivation requises et est de ce fait irrecevable.
5. Les recourants dénoncent l'absence de demande d'autorisation pour la mise aux normes de l'ascenseur conformément à la Directive de l'AEAI "Installations d'ascenseurs" 24.03 f. Ils n'indiquent toutefois pas la base légale qui imposerait une telle demande, la référence faite de manière générale à l'art. 121 al. 2 LCI et à l'art. 6 du règlement d'application de cette loi (RCI) n'étant à cet égard pas topique. Sur ce point également le recours est insuffisamment motivé. Au demeurant, on observera que la Police du feu a subordonné son préavis favorable à la condition que les ascenseurs soient installés conformément à la directive précitée.
6. Les recourants font valoir que l'autorisation de construire du 28 mai 2009 ne comporte pas de préavis pour les travaux prévus au sous-sol, les préavis présents au dossier ayant été rendus exclusivement pour les aménagements projetés dans les combles et la surélévation de la toiture. Si la demande d'autorisation de construire telle qu'elle a été publiée portait exclusivement sur la création de deux appartements dans les combles et ne précisait pas les travaux prévus en sous-sol, ceux-ci ressortaient en revanche clairement du descriptif des travaux du 14 mars 2008, des plans des niveaux existants et futurs ainsi que de l'avis donné aux locataires le 22 avril 2008, qui accompagnaient la demande, de sorte que les services consultés auraient pu exiger des éclaircissements à ce propos s'ils le jugeaient nécessaire avant de délivrer leur préavis. C'est d'ailleurs ce qu'a fait la Police du feu en requérant de nouveaux plans indiquant le compartimentage du sous-sol avec le rez-de-chaussée, les voies de fuite du sous-sol et l'emplacement des postes à incendie et des extincteurs. Ainsi, même si d'autres services ne font aucune référence expresse aux travaux prévus en sous-sol, on ne saurait pour autant en déduire que leur préavis favorables auraient été rendus en méconnaissance de cause et ne s'étendraient pas à ces travaux. Au demeurant, les recourants ont pu faire valoir leurs arguments à ce sujet de sorte qu'ils n'ont pas été lésés dans leurs droits.
7. Les recourants tiennent le préavis de la Commission d'architecture favorable à la dérogation fondée sur l'art. 11 LCI pour nul en tant qu'il se fonde sur des plans qui ont été modifiés ultérieurement. La cour cantonale a écarté ce grief au motif que les modifications apportées aux plans initiaux étaient purement techniques et répondaient aux exigences de la Police du feu, sans toucher la substance du projet, de sorte que le nouveau jeu de plans n'avait pas à être soumis à la Commission d'architecture et ne permettait pas de tenir le préavis antérieur de cette Commission pour nul. Les recourants ne s'en prennent pas à cette argumentation de sorte que sur ce point également, le recours est irrecevable. On observera que la demande d'autorisation de construire comportait un plan des façades et de coupe daté du 12 juin 2008 qui indiquait clairement le gabarit actuel et futur du bâtiment ainsi qu'un plan intitulé "Perspectives" du 2 avril 2008, figurant l'état du bâtiment après les travaux par rapport aux bâtiments contigus. Ces plans permettaient à la Commission d'architecture de se prononcer en connaissance de cause sur l'octroi de la dérogation au gabarit des constructions fondée sur l'art. 11 LCI. Il importe peu que le plan des façades et de coupe ait été annulé et remplacé par un nouveau plan dressé le 13 janvier 2009 et visé "ne varietur" le 28 mai 2009 car l'unique modification apportée au plan initial porte sur la mention d'un exutoire de fumée en façade ouest et répond à la demande de la Police du feu du 28 novembre 2008. Cela étant, la cour cantonale n'a pas fait preuve d'arbitraire en retenant que cette modification était inapte à mettre en cause le préavis de la Commission d'architecture favorable à l'octroi de la dérogation.
8. Les recourants dénoncent une violation de l'art. 43 de la loi genevoise sur les démolitions, transformations et rénovations de maisons d'habitation (LDTR) qui oblige le propriétaire à informer au préalable et par écrit les locataires et à les consulter en dehors de toute résiliation de bail, lorsqu'il a l'intention d'exécuter des travaux au sens de la présente loi. La cour cantonale a considéré que la lettre d'information adressée aux locataires le 22 avril 2008 dans le cadre d'un premier projet était suffisante au regard de cette disposition, même si elle regrettait qu'un délai n'ait pas été formellement fixé aux locataires pour réagir. On cherche en vain une critique à ce propos qui répondrait aux exigences de motivation qualifiée requises en vertu de l'<ref-law>. Les recourants se bornent en effet à alléguer que cette obligation n'aurait pas été respectée parce que l'avis concernant les travaux leur aurait été communiqué deux mois après que la demande d'autorisation de construire ait été enregistrée en se référant à un avis de modification du bail qui leur aurait été notifié le 22 décembre 2008. Sur ce point, le recours ne répond pas aux exigences de motivation et est irrecevable.
Les recourants sont d'avis que les locaux proposés en remplacement de ceux dont ils disposaient dans les combles de l'immeuble ne répondraient pas aux exigences de la LDTR et qu'ils impliquent un changement d'affectation qui aurait dû faire l'objet d'une demande de dérogation. Ils soutiennent également que la création de deux appartements dans les combes au prix moyen de 7'365 fr. par pièce ne répondrait pas à un besoin prépondérant de la population. L'intimée ne leur aurait enfin proposé aucune solution de relogement pour la durée des travaux. Ils ne citent pas les dispositions de la loi qui auraient été violées, sous réserve des art. 3 et 7 LDTR, dont la seule référence ne constitue pas une motivation suffisante au regard des exigences accrues requises par la jurisprudence lorsque le grief relève de l'application du droit cantonal.
9. Les recourants se plaignent d'une violation grossière de l'art. 23 al. 3 et 5 LCI, relatif aux dimensions du gabarit des constructions, ainsi que de l'art. 11 al. 1 et 5 LCI, qui en définit les dérogations possibles. La cour cantonale a écarté ce grief après avoir relevé que la surélévation partielle de l'immeuble et le dépassement du gabarit n'ont pas été autorisés en application des nouvelles dispositions de l'art. 23 LCI, adoptées le 22 février 2008, mais par le biais de la clause dérogatoire de l'art. 11 al. 4 LCI, expressément réservée par la nouvelle teneur de l'art. 23 al. 7 LCI, à l'application de laquelle la Commission d'architecture a préavisé favorablement. Dans leur acte de recours, les recourants reprennent sur ce point telle quelle l'argumentation qu'ils avaient développée dans leur mémoire complémentaire du 7 octobre 2010. Un tel procédé ne répond pas aux exigences de motivation accrues déduites de l'<ref-law> (<ref-ruling> consid. 2.3 p. 247). Ils devaient au contraire s'efforcer de démontrer par une démonstration claire répondant aux exigences de l'<ref-law> en quoi la cour cantonale aurait fait preuve d'arbitraire. Le défaut de motivation ne saurait être considéré comme réparé par la motivation développée dans les observations qu'ils ont déposées par l'intermédiaire de leur mandataire. Le mémoire de réplique ne peut contenir qu'une argumentation de fait et de droit complémentaire, destinée à répondre aux arguments nouveaux développés dans les réponses au recours. Il ne saurait en revanche être utilisé afin de compléter une motivation déficiente, en dehors du délai pour recourir (arrêts 4A_371/ 2010 du 29 octobre 2010 consid. 2.1 et 6B_181/2009 du 29 septembre 2009 consid. 3). Admettre le contraire aurait en effet pour conséquence de prolonger les délais légaux, ce qui est expressément prohibé par l'<ref-law>, et de créer des inégalités de traitement. Le recours est donc irrecevable sur ce point. Au demeurant, la motivation développée par les recourants dans leur réplique n'est pas de nature à tenir l'arrêt attaqué pour arbitraire. La cour cantonale s'est référée à l'art. 11 al. 4 let. c et d LCI pour admettre la dérogation, considérant que la surélévation partielle de l'immeuble ne nuisait ni à l'harmonie de la silhouette de l'agglomération ni à la perception de sa topographie et qu'elle était compatible avec le caractère, l'harmonie et l'aménagement du quartier. Les recourants soutiennent que l'art. 11 al. 4 LCI ne s'appliquerait pas en l'occurrence du fait que le terrain est entièrement bâti de sorte que la condition posée à la lettre a de cette disposition ne serait pas réalisée. On ne voit pas en quoi il serait arbitraire d'interpréter l'art. 11 al. 4 LCI en ce sens que la lettre a de cette norme s'applique aux constructions nouvelles et non aux projets de surélévation de constructions existantes et de subordonner, dans cette dernière hypothèse, l'octroi d'une dérogation aux prescriptions relatives aux gabarits aux seules conditions posées aux lettres b à d de l'art. 11 LCI, jusqu'à l'adoption des cartes indicatives des immeubles susceptibles d'être surélevés mentionnées à l'art. 23 al. 4 LCI.
10. Les recourants dénoncent à la fin de leur mémoire de recours la violation de diverses dispositions légales cantonales qu'ils se bornent à énumérer sans chercher à démontrer en quoi elles auraient été appliquées de manière arbitraire ou d'une autre manière contraire au droit, comme il leur incombait de faire pour se conformer aux exigences accrues de motivation découlant de l'<ref-law>. Sur ces différents points, le recours est irrecevable.
11. Le recours doit par conséquent être rejeté dans la mesure où il est recevable. Les recourants ont sollicité l'assistance judiciaire. Ils ont produit diverses pièces destinées à établir leur indigence. La question de savoir si cette condition est démontrée pour chacun d'entre eux peut demeurer indécise, car le recours, tel qu'il était motivé, était de toute manière voué à l'échec, de sorte que la demande d'assistance judiciaire doit être rejetée (<ref-law>). Les frais du présent arrêt seront mis à la charge des recourants, solidairement entre eux (art. 65 et 66 al. 1 et 5 LTF). L'intimée, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens à la charge des recourants, solidairement entre eux (art. 68 al. 1 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4. Une indemnité de 2'000 fr. à payer à l'intimée à titre de dépens est mise à la charge des recourants, solidairement entre eux.
5. Le présent arrêt est communiqué aux mandataires des parties, ainsi qu'au Département des constructions et des technologies de l'information et à la Chambre administrative de la Cour de justice de la République et canton de Genève.
Lausanne, le 4 mai 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Fonjallaz Parmelin