Arbetareföreningen i Vadstena har vägrat ansluta sig till Östergötlands rösträttsförbund.