La Factory fue famosa por sus escandalosas fiestas y por ser frecuentada por "modernos" con pretensiones artísticas, bohemios excéntricos y consumidores de anfetaminas.