После второй Балканской войны 1913 года часть территории Горы, на которой расположено село Оргоста, была передана Албании. В 1916 году во время экспедиции в Македонию и село посетил болгарский языковед Стефан Младенов, по его подсчётам в селе в то время было около 70 домов.