Faits: Faits: A. A._ est propriétaire d'une part de copropriété (PPE n°5452) afférente à un logement de deux pièces, d'une surface totale de 43 m2, sis dans le sous-sol d'une maison d'habitation de Gorgier. A._ qui avait acquis ce logement en 1995 pour le prix de 115'000 fr., l'a offert à louer. En 1997, la Commission pour la mise en vente d'appartements loués du canton de Neuchâtel (ci-après: la Commission cantonale) avait autorisé la vente de l'appartement. Faute de trouver un acquéreur, A._ a renoncé à faire usage de cette autorisation et loué l'appartement. Comme les baux ont été résiliés fréquemment et que l'appartement est resté vide pendant de longues périodes, A._ a présenté une nouvelle demande d'autorisation de vendre sa part de copropriété à B._, pour le prix convenu de 80'000 fr. Le 9 décembre 2002, la Commission cantonale a rejeté la demande. Elle a retenu que la situation du logement s'était fortement détériorée dans le district de Boudry, où le taux de vacance est de 0,43% et de 0,12% à Gorgier. Par arrêt du 24 mars 2004, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par A._ contre cette décision. Par arrêt du 24 mars 2004, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par A._ contre cette décision. B. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler la décision du 24 mars 2004. Il invoque les art. 9 et 26 Cst. Le Tribunal administratif se réfère à son arrêt. La Commission cantonale a renoncé à se déterminer. B._ propose l'admission du recours.