Oleszka była miejscem walk w czasie III powstania śląskiego. 8 maja wieś została zdobyta przez powstańców. W kolejnych tygodniach była ona ważnym punktem obrony wojsk polskich, osłaniającym od północy Górę Świętej Anny. 21 maja, podczas ofensywy niemieckiej w kierunku Góry św. Anny, Oleszka została zdobyta przez niemieckich żołnierzy. W czasie walk zginął hrabia Karol Chodkiewicz, co upamiętnia tablica na ścianie tamtejszej kaplicy, a także symboliczny głaz umiejscowiony na pobliskim polu.