Faits: A. A.a A._ est au bénéfice d'une rente entière et d'une allocation pour impotence faible de l'assurance-invalidité depuis le 1er juillet 1993, ainsi que de prestations complémentaires cantonales depuis le 1er septembre 1998 et fédérales depuis le 1er février 1999. Par décision du 3 mai 2002, son mari, B._, s'est également vu allouer à compter du 1er janvier 1999 une rente entière de l'assurance-invalidité. A.b Le 23 février 2004, A._ a transmis à l'Office cantonal genevois des personnes âgées (OCPA; depuis le 1er janvier 2008: le Service des prestations complémentaires de la République et canton de Genève [SPC]) la copie d'un relevé d'un compte de libre passage, d'après lequel son mari était titulaire auprès de la Fondation de libre passage d'UBS SA d'un avoir de prévoyance de 117'303 fr. 30 au 31 décembre 2002 et de 119'160 fr. 60 au 31 décembre 2003. Après avoir recalculé le montant des prestations complémentaires dues à l'assuré, l'OCPA a, par décision du 26 octobre 2004, confirmée sur opposition le 10 juillet 2008, réclamé à l'assurée le remboursement du montant de 25'669 fr., correspondant aux prestations complémentaires indûment perçues pour la période courant du 1er juin 2002 au 31 octobre 2004. Le Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui: la Cour de justice de la République et canton de Genève, Chambre des assurances sociales) a, par jugement du 8 janvier 2009, rejeté le recours formé par l'assurée contre la décision du 10 juillet 2008. A.c Le 19 mars 2009, A._ a demandé au SPC la remise de l'obligation de restituer. Par décision du 7 décembre 2009, confirmée sur opposition le 27 janvier 2010, le SPC a rejeté cette demande, la condition relative à la bonne foi ne pouvant être considérée comme réalisée, dès lors que l'assurée avait omis de mentionner l'existence du compte de libre passage de son mari dans le formulaire de demande de prestations qu'elle avait rempli en 1998. B. Considérant que l'assurée pouvait se prévaloir de sa bonne foi, le Tribunal cantonal des assurances sociales de la République et canton de Genève a, par jugement du 25 novembre 2010, partiellement admis le recours formé devant lui, annulé les décisions des 7 décembre 2009 et 27 janvier 2010 et renvoyé la cause au SPC pour examen de la condition relative à la situation financière de l'assurée. C. Le SPC interjette un recours en matière de droit public contre ce jugement. Il conclut à l'annulation de celui-ci en ce qu'il concerne les prestations complémentaires fondées sur le droit fédéral et à la confirmation de la décision sur opposition du 27 janvier 2010. A._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.