Faits: Faits: A. B._, née en 1938, veuve depuis 1976 et vivant seule, a travaillé en qualité de secrétaire chez X._ SA jusqu'en 1987. Le 1er octobre 1987, Y._ SA, gérée et administrée par A._, qui en était l'ayant droit économique, l'a engagée comme secrétaire moyennant un salaire mensuel de 4'000 fr. brut pour un horaire hebdomadaire de 40 heures. Le 16 juin 1992, Y._ SA, par son administrateur, a licencié B._ pour fin août 1992 au motif que l'employeur ne supportait plus l'instabilité psychique de son employée. Cette décision n'a pas été contestée. En juillet 1992, B._ a subi une opération de la hanche, qui n'a pas produit le résultat souhaité, de sorte que dès le 1er juin 1993 elle a bénéficié d'une rente simple AI à 100 %, jusqu'à l'âge légal de sa retraite, soit jusqu'au 30 septembre 2000. Dès septembre 1992, A._ a engagé des secrétaires intérimaires dont il n'était pas satisfait. Dans le courant de 1993, il a rappelé à son service B._, qui croyait avoir été réengagée en tant qu'employée, alors que A._ souhaitait qu'elle agisse en tant que "mandataire indépendant", pour maintenir une certaine distance en raison des "démonstrations d'attachement exacerbé" de sa cocontractante. Compte tenu des séquelles de son opération, B._ ne pouvait travailler à plein temps et était payée 200 fr. par jour de service, ce qui correspondait à un montant de 4'000 fr. par mois calculé sur 20 jours ouvrables. Cette situation a duré jusqu'à novembre 1996. Dès le 1er janvier 1997 et jusqu'au 9 janvier 2001, B._ a effectué ses tâches de secrétariat, impliquant parfois la représentation de A._ auprès de tiers, en échange d'une rémunération mensuelle de 4'000 fr., dont le caractère net ou brut n'était pas précisé. B._ déployait son activité sous les ordres de A._, qui lui donnait des directives et contrôlait son temps et son travail, lui imposant notamment d'être présente au bureau lors de ses absences, fréquentes en raison de son activité financière ou de courtage. En fait, B._ a observé un horaire régulier, en moyenne de 6 heures par jour. Toutefois, dès le 1er janvier 1997, A._ a cessé de payer B._, en raison de la crise immobilière, ce qu'elle a accepté dans l'espoir d'être dédommagée ultérieurement, lorsque les affaires iraient mieux. B._ a mal supporté l'association de A._ avec C._, en novembre 2000, de sorte que le 9 janvier 2001, au retour d'un voyage d'affaires, A._ a mis un terme aux rapports contractuels, dans des conditions très houleuses. A._ a alors immédiatement mis à disposition de B._ un montant de 192'000 fr. qu'il estimait lui devoir à titre de rémunération depuis le 1er janvier 1997, auprès de la Fiduciaire Z._ SA, où elle pouvait le chercher, en échange de la restitution des clés du bureau. Comme elle voulait rendre ces dernières à A._ en personne, dans le but de rétablir le contact, elle n'a pas pu récupérer son dû. Cette somme a ensuite été tenue à sa disposition en l'étude du précédent conseil de A._. Le 15 mai 2001, cet avocat a sommé B._ de rendre les clés, sans l'inviter à venir encaisser l'argent. En fait, A._ a donné l'ordre à Z._ SA de transférer 196'000 fr. à l'étude de son précédent conseil, en date du 11 septembre 2002. Entre-temps, le 16 septembre 2001 un hebdomadaire a publié un article concernant A._ et B._. Pendant la même période, entre juin et décembre 2001, B._ a adressé des messages affectueux à A._. Celui-ci a intenté diverses procédures civiles et pénales contre elle. B._ a notamment été inculpée d'atteintes à l'honneur le 14 janvier 2003, et a fait l'objet d'une demande en réparation pour tort moral le 11 novembre 2002, au montant de 383'000 fr. Entre-temps, le 16 septembre 2001 un hebdomadaire a publié un article concernant A._ et B._. Pendant la même période, entre juin et décembre 2001, B._ a adressé des messages affectueux à A._. Celui-ci a intenté diverses procédures civiles et pénales contre elle. B._ a notamment été inculpée d'atteintes à l'honneur le 14 janvier 2003, et a fait l'objet d'une demande en réparation pour tort moral le 11 novembre 2002, au montant de 383'000 fr. B. Le 12 octobre 2001, B._ a assigné A._ et Y._ SA, pris solidairement, en paiement de 214'650 fr. et 16'200 fr. avec intérêts à 5 % l'an dès le 15 février 1999, à titre de salaires, respectivement d'indemnités de vacances, en sollicitant également la délivrance d'un certificat de travail. Le 27 mars 2002, elle a réduit ses conclusions à 192'000 fr., sans intérêts moratoires "par gain de paix". Par jugement du même jour, le Tribunal de prud'hommes de Genève a condamné A._ à payer à B._ la somme de 192'000 fr. en exécution du contrat de travail passé entre les parties. A._ a saisi la Chambre d'appel de la juridiction des prud'hommes, qui a confirmé le jugement de première instance, en précisant que le montant de 192'000 fr. porterait intérêts à 5 % l'an dès le 12 octobre 2001, par arrêt du 13 février 2003. Suite à une demande de revision de A._, la cour cantonale a supprimé cette condamnation au paiement de l'intérêt dans une décision du 9 octobre 2003. En substance, la Cour d'appel a retenu que les parties étaient liées par un contrat de travail, fondant aussi sa compétence, la créance de salaire n'étant pas éteinte par remise de dette conventionnelle. L'exception de compensation était irrecevable. En substance, la Cour d'appel a retenu que les parties étaient liées par un contrat de travail, fondant aussi sa compétence, la créance de salaire n'étant pas éteinte par remise de dette conventionnelle. L'exception de compensation était irrecevable. C. A._ recourt en réforme au Tribunal fédéral. Il conclut à titre principal au déboutement de la demanderesse de toutes ses conclusions. Subsidiairement, il conclut au renvoi de l'affaire en instance cantonale pour complément d'instruction et nouveau jugement sur la question de la compensation, plus subsidiairement encore à sa condamnation au paiement de 192'000 fr., mais sans intérêts. La demanderesse propose le rejet du recours dans la mesure où il est recevable. La cour cantonale se réfère à ses considérants. La cour cantonale se réfère à ses considérants. D. Par arrêt de ce jour, le Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, un recours de droit public interjeté parallèlement par le défendeur.