Łysa Góra często była niszczona podczas napadów zbójeckich, podobnie jak sąsiedni Stary Żmigród. Przez lata beskidnicy zrabowali we wsi ponad 120 sztuk bydła i koni. Duże ciężary osada ponosiła też w czasie działalności konfederancji barskiej, a także podczas zaborów. U schyłku XIX wieku zamieszkana była przez 703 osoby.