Faits: A. A._, architecte de formation, exploite un bureau d'architecture à ... (Genève). Il ressort de ses bilans qu'entre 1998 et 2001, ses honoraires annuels ont oscillé entre 2'829'011 fr. et 4'073'337 fr. pour des charges allant de 2'079'947 fr. à 2'891'927 fr., qui comprenaient une masse salariale de 1'611'494 fr. à 1'982'233 fr. selon les années. Quant au bénéfice net réalisé par A._, il s'est monté au plus à 1'907'783 fr. et au moins à 549'562 fr. durant cette même période. Selon le site officiel de l'État de Genève en date du 9 avril 2003, le bureau de A._ était constitué en une entreprise individuelle occupant dix à dix-neuf collaborateurs. B. Le 14 février 1998, A._ et un autre atelier d'architecture ont signé un contrat avec la Confédération portant sur la transformation et l'aménagement du Palais P._ en maison de l'environnement à Genève. Cet accord se présentait comme un contrat de prestations globales d'architecture et d'ingénierie. Avec effet au 21 décembre 1998, A._ a conclu avec la société X._ S.A. un contrat ayant pour objet la construction d'une cafétéria pour 1'643'195 fr. en se désignant comme :A._, architecte EAUG SIA AGA à ... (Genève), "Société de droit suisse", agissant en qualité d'entrepreneur général et représentée par A._ ayant tous pouvoirs à cette fin. L'entrepreneur général avait notamment pour tâche de faire des études d'exécution, puis d'établir pour le maître de l'ouvrage les documents nécessaires et suffisants permettant d'avoir une connaissance exacte de la conception, du fonctionnement et de l'entretien de l'ouvrage, ainsi que de la façon dont les travaux et le montage seraient conduits. Le 15 décembre 1999, A._, agissant comme architecte associé avec Y._ S.A., a passé un accord concernant la transformation et l'aménagement d'une banque genevoise et prévoyant des honoraires de 3'539'217 fr. Sur la base de plans établis par un autre architecte, A._ a conclu un contrat d'entreprise générale portant sur la construction d'une maison de maître à .... C. B._, entrepreneur à Genève, est entré en conflit avec A._ à propos du contrat d'entreprise générale relatif à la résidence de .... Le 13 juin 2001, il a adressé une facture à l'architecte s'élevant à 103'288 fr. relative à la pose de faux plafonds et, le 21 novembre 2001, il a introduit une demande en justice à l'encontre de A._ portant sur 73'198 fr. Le 11 avril 2003, B._ a requis l'inscription de A._ dans le registre du commerce. Après avoir, dans un premier temps, renoncé à sommer A._ de requérir son inscription, le Registre du commerce de Genève, qui avait entre-temps reçu de B._ le décompte final de A._ se rapportant à l'aménagement de la cafétéria pour X._ S.A., a demandé à l'architecte de fournir différents documents. Le 5 décembre 2003, le Registre du commerce a sommé A._ de requérir son inscription dans les dix jours. L'architecte ayant fait opposition, le Registre du commerce a transmis la cause, le 6 janvier 2004, à l'Autorité de surveillance du Registre du commerce du canton de Genève, pour que cette dernière statue. Par décision du 22 mars 2004, l'Autorité de surveillance a déclaré que A._ était tenu à inscription dans le registre du commerce relativement à l'exploitation de son bureau d'architectes à ... et lui a imparti à cette fin un délai de 30 jours sous la menace des peines prévues par l'art. 292 CP, avec suite de frais et dépens à la charge de l'architecte. D. Contre cette décision, A._ interjette un recours de droit administratif au Tribunal fédéral. Il conclut à la forme à la recevabilité du recours et, au fond, à ce que la décision du 22 mars 2004 soit annulée, à ce qu'il soit constaté qu'il n'est pas soumis à inscription auprès du registre du commerce, avec suite de frais et dépens à la charge de tout opposant. A titre subsidiaire, il demande à être acheminé à apporter, par toutes voies de droit, la preuve des faits allégués dans son recours. L'Autorité de surveillance s'est référée à sa décision. Tout en s'en rapportant à l'appréciation du Tribunal fédéral quant à la recevabilité du recours, B._ propose, pour sa part, la confirmation de la décision entreprise, avec suite de dépens. Enfin, l'Office fédéral du registre du commerce s'est rallié aux considérations émises par l'Autorité de surveillance cantonale, en soulignant qu'il considérait également que les conditions pour l'inscription de A._ au registre du commerce étaient remplies.