Faits: Faits: A. X._ est propriétaire de la parcelle n° 2213 de la commune de Choulex, à proximité du hameau de Chevrier. Cette parcelle de 3'004 mètres carrés, sise en zone agricole, a été détachée de la parcelle voisine lors de son acquisition par le père de X._, au début des années septante. Elle accueille une ancienne dépendance en bois de 56 mètres carrés ainsi qu'un poulailler désaffecté de 8 mètres carrés. Selon les indications fournies par la commune de Choulex le 2 avril 2003, l'ancienne dépendance a été rendue habitable par le précédent propriétaire, Y._, qui y logeait ses ouvriers agricoles dans les années cinquante déjà, alors qu'il était maraîcher. Elle a été utilisée comme résidence secondaire par Z._, puis par son fils, X._; elle comporte actuellement une chambre, une cuisine, des sanitaires, un séjour et une terrasse couverte. Elle est alimentée en électricité et raccordée au réseau d'évacuation des eaux claires et des eaux usées. Le 21 janvier 2002, X._ a requis l'autorisation de rénover et d'agrandir l'ancienne dépendance par l'adjonction d'une chambre de 14,5 mètres carrés, dans l'intention d'y établir son domicile principal. Par décision du 26 juin 2002, le Département de l'aménagement, de l'équipement et du logement du canton de Genève (ci-après: le Département) a refusé de délivrer l'autorisation de construire sollicitée au motif que la transformation et l'agrandissement projetés n'étaient pas conformes à l'affectation agricole de la zone et que l'octroi d'une autorisation dérogatoire fondée sur les art. 24 et 24c de la loi fédérale sur l'aménagement du territoire (LAT; RS 700) n'entrait pas en ligne de compte, la destination du bâtiment en cause en habitation n'ayant jamais été autorisée et l'agrandissement envisagé n'étant pas imposé par sa destination. Statuant le 3 juillet 2003 sur recours du propriétaire, la Commission cantonale de recours en matière de constructions a annulé cette décision et a invité le Département à délivrer l'autorisation sollicitée. Elle a estimé que le bâtiment litigieux était voué à l'habitation depuis plus de cinquante ans et qu'il pouvait de ce fait être agrandi dans les limites prévues par l'art. 24c LAT. Au terme d'un arrêt rendu le 20 janvier 2004, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif ou la cour cantonale) a admis le recours formé par le Département contre cette décision qu'il a annulée. Il a considéré que l'ancienne dépendance n'était pas conforme à l'affectation agricole de la zone, en tant qu'elle servait à l'habitation d'un non-agriculteur, et que son implantation hors de la zone à bâtir n'était pas imposée par sa destination, de sorte qu'une autorisation de construire à titre dérogatoire au sens de l'art. 24 LAT n'entrait pas en ligne de compte. Il a estimé que le logement de personnes n'ayant aucun rapport avec l'agriculture constituait un changement d'affectation qui n'aurait pas été autorisé dans les années cinquante, ce qui excluait l'application de l'art. 24c LAT. Il a encore relevé que la prescription trentenaire n'avait pas pour effet de légaliser la situation, mais qu'elle s'opposait tout au plus au rétablissement de l'état conforme au droit. Au terme d'un arrêt rendu le 20 janvier 2004, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif ou la cour cantonale) a admis le recours formé par le Département contre cette décision qu'il a annulée. Il a considéré que l'ancienne dépendance n'était pas conforme à l'affectation agricole de la zone, en tant qu'elle servait à l'habitation d'un non-agriculteur, et que son implantation hors de la zone à bâtir n'était pas imposée par sa destination, de sorte qu'une autorisation de construire à titre dérogatoire au sens de l'art. 24 LAT n'entrait pas en ligne de compte. Il a estimé que le logement de personnes n'ayant aucun rapport avec l'agriculture constituait un changement d'affectation qui n'aurait pas été autorisé dans les années cinquante, ce qui excluait l'application de l'art. 24c LAT. Il a encore relevé que la prescription trentenaire n'avait pas pour effet de légaliser la situation, mais qu'elle s'opposait tout au plus au rétablissement de l'état conforme au droit. B. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral d'annuler cet arrêt, d'inviter le Département à lui délivrer l'autorisation de construire sollicitée et de condamner l'Etat de Genève aux dépens de la procédure de recours tant devant le Tribunal fédéral que devant le Tribunal administratif; à titre subsidiaire, il conclut au renvoi du dossier à cette dernière autorité pour qu'elle confirme la décision de la Commission cantonale de recours en matière de constructions, le cas échéant, pour instruction complémentaire dans le sens des considérants. Il se plaint d'une mauvaise application des art. 24a et 24c LAT, d'une constatation inexacte et incomplète des faits pertinents et d'une violation de l'art. 26 Cst. Le Tribunal administratif se réfère à son arrêt. Le Département et l'Office fédéral du développement territorial concluent au rejet du recours. X._ a répliqué.