Nazwa rezerwatu związana jest z legendą, według której skały znajdujące się w rezerwacie to domy miasta, które uległo skamienieniu wraz z mieszkańcami. Była to kara za występne życie jego mieszkańców. Nazwy skał nawiązują do ich kształtów, np. „Piramidy”, „Grzybek”, „Orzeł”. Z większością skał związane są jakieś legendy, z niektórymi nawet więcej niż jedna. Jednej ze skał nadano nazwę dla uczczenia zasłużonego dla Polski kompozytora i patrioty I.J. Paderewskiego, którego dwór znajduje się w sąsiedniej miejscowości Kąśna Dolna. Znajdującej się przy drodze dużej wychodni nadano nazwę „Grunwald” dla uczczenia pięćsetnej rocznicy bitwy pod Grunwaldem i biorących w niej udział 7 rycerzy z okolicy.