Av forskjellige grunner gikk forretningen inn i en økonomisk krise på 1850-tallet. Dette resulterte i at Geyer ikke hadde ressurser nok til å konkurrere med den nye fabrikantstjernen Karol Scheibler, som åpnet et enormt spinneri i 1855. Den sakte med sikre nedgangen varte i om lag ti år. Den polske bank krevde nedbetaling av lånene Geyer hadde tatt opp. Men det største nederlaget for Geyer var den amerikanske borgerkrigen i 1861. Bare de økonomisk mest stabile fabrikantene kunne overleve «bomullssulten» etter at den amerikanske bomullseksporten til Europa opphørte.