Se dice que, después de muchísimas aventuras en sus primeros años, Brown estableció el primer paquete entre Montevideo y Buenos Aires; por esa época fue que compró el terreno en Barracas, donde construyó la casa-quinta que aun existe, y que todos conocen por del almirante Brown, y en la que vivió, con su familia, por más de 40 años.