Faits: A. E._ est propriétaire d'un immeuble sis au n° 4 de la rue de l'Ancien-Port, à Genève, en deuxième zone de constructions. Le 20 octobre 2008, elle a déposé une demande définitive d'autorisation de construire deux appartements de quatre pièces dans les combles, publiée dans la Feuille d'avis officielle de la République et canton de Genève du 5 novembre 2008. A._, B._, C._ et D._, tous locataires de l'immeuble, ont fait part de leur opposition à ce projet au Département des constructions et des technologies de l'information de la République et canton de Genève. Le 28 mai 2009, ce dernier a délivré l'autorisation de construire requise moyennant l'octroi d'une dérogation selon l'art. 11 de la loi genevoise sur les constructions et les installations diverses (LCI). La Commission cantonale de recours en matière administrative a confirmé cette autorisation au terme d'une décision rendue le 25 mai 2010 sur recours des locataires précités. Statuant par arrêt du 21 décembre 2010, le Tribunal administratif de la République et canton de Genève a rejeté le recours interjeté contre cette décision par A._, B._, C._ et D._. B. Agissant par la voie du recours en matière de droit public, A._, B._, C._ et D._ demandent au Tribunal fédéral d'annuler cet arrêt de même que l'autorisation de construire du 28 mai 2009 et le projet n° 4 du 30 avril 2009 visé "ne varietur" le 28 mai 2009. Ils requièrent l'assistance judiciaire. La cour cantonale a renoncé à déposer des observations et persiste dans les considérants et le dispositif de son arrêt. L'intimée et le Département des constructions et des technologies de l'information proposent de déclarer le recours irrecevable, respectivement de le rejeter. Les recourants ont répliqué à titre individuel et par l'intermédiaire de leur conseil nouvellement constitué. C. Par ordonnance du 1er mars 2011, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif des recourants.