Ceux qui présentaient des signes de maladies étaient renvoyés dans leur pays (cas extrême) ou mis en quarantaine sur l'île pour une très longue période. Par la suite, les immigrants se voyaient poser une série de incluant leur nom, leur métier et la quantité d'argent qu'ils avaient sur eux. Généralement, ces immigrants étaient acceptés immédiatement et ne passaient que sur l'île. Cependant, plus de moururent à l'hôpital. Certaines personnes furent également refoulées, car on considérait qu'elles risquaient de rester chômeurs. Environ 2 % des arrivants virent ainsi leur admission aux États-Unis rejetée et furent renvoyés dans leur pays d'origine pour diverses raisons telles que leur santé ou leur passé criminel. Ellis Island était souvent surnommée ' (l'île des pleurs) ou ' (l'île des cœurs brisés) à cause de ces 2 % qui n'étaient pas admis après leur long voyage.L'auteur Louis Adamic (1899-1951), venu de Slovénie en 1913, décrivit la nuit qu'il avait passée à Ellis Island. Lui et plusieurs autres immigrants dormirent sur des lits dans un long corridor. N'ayant pas de couverture chaude, le jeune homme ne put dormir de la nuit, entendant les ronflements et plusieurs rêves se passant dans différentes langues. Il décrit aussi une cuisine tellement grande qu'elle pouvait accueillir .Durant la Première Guerre mondiale, le sabotage allemand du dépôt de munitions "Black Tom Wharf" endommagea les bâtiments d'Ellis Island. Durant la guerre, l'île fut utilisée pour interner des marchands allemands et autres ennemis de guerre ainsi que comme un centre pour aider les soldats américains blessés et malades à leur retour du front européen. Ellis Island reçut également plusieurs dizaines de milliers d'immigrants par an durant cette période, soit beaucoup moins qu'avant guerre. Après celle-ci, le nombre remonta au niveau d'avant-guerre.