Men ISU hadde også saker der de ikke nådde fram eller gjorde feil. Etter en runde med misykkede kontraktsforhandlinger gikk ISU til streik den 1. mai 1921 som omfattet alle havner. Streiken varte bare i to måneder, men resulterte i hyrekutt på 25 prosent. ISU, som med alle AFL-unionene, ble kritisert for å være for konservative. For eksempel refererte Industrial Workers of the World (I.W.W.) publikasjonen i 1923 til ISU's "pie-cards" (betalte ledere) som "grafters and pimps." Additionally, the union was weakened by the loss of the Sailors' Union of the Pacific in 1934. Furuseth charged that the SUP was being infiltrated by "radicals" from the I.W.W., and demanded the SUP cease activities with the Maritime Federation. The SUP refused and the ISU revoked their charter.