El jardín se nombra con la palabra « "Kampong" » que proviene del idioma Malayo o del Javanés para designar a una aldea o un grupo de casas, esto es debido a que algunos de los primeros cultivos en esta plantación vinieron de Indo-Malasia, traídos por el reconocido explorador y horticultor David Fairchild, que introdujo estas especies en los Estados Unidos, y "The Kampong" comenzó originalmente como su colección personal de plantas.