Znane są trzy legendy o powstaniu miasta. Jedna z nich mówi o pierwszych osadnikach jako uciekinierach przed najazdem mongolskim w 1241. Zgodnie z drugą miasto założyli osadnicy słowiańscy, którzy przybyli nad rzekę białą, czyli „bystrą”, przezywaną Białką, z Żabiego Kraju, gdzie w rodzinnej osadzie Żebracze byli często atakowani przez wrogów i po kolejnym krwawym najeździe zaczęli szukać lepszego miejsca do zamieszkania, osiedlając się wreszcie na bielskim wzgórzu. W pewnym momencie jednak słowiańscy osadnicy zniknęli, a Mieszko cieszyński odbudował zamek i osadę, zaludniając ją niemieckimi kolonistami ze Spiszu. Gustaw Morcinek zaś podaje, że na srogim wzgórzu wśród lasów wznosiło się "„strożne zamczysko”", a w nim przebywali zbójnicy. Przez długie lata łupili oni karawany kupców, dopiero w czasach Bolesława Chrobrego lub Bolesława Śmiałego sąsiednie kasztelanie zorganizowały wyprawę na zbójnickie gniazdo, zamek został zdobyty i spalony, a rabusie zabici. Miejsce to, zwane po łacinie "„bilis”", poszło w niepamięć aż do chwili, kiedy to książę cieszyński Kazimierz I odkrył je na polowaniu i przeznaczył zabudowanie książęcego letniska, zarządzając, aby na jednej ze ścian wymalowano postać herszta-rozbójnika.