Stolac został zbudowany nieopodal średniowiecznej twierdzy Vidovski. W okolicy odnaleziono pozostałości iliryjskiej osady Daorson. Przez wieki stanowił ważny ośrodek kulturalny. Zaczął rozwijać się pod koniec XV wieku. W tym czasie powstał miejski hammam, harem i wieża zegarowa. W 1519 roku w Stolacu wzniesiono jeden z pierwszych meczetów na terenie dzisiejszej Bośni i Hercegowiny. W XVIII wieku Stolac był centrum handlowym i rzemieślniczym. W trakcie wojny w Bośni i Hercegowinie miasto było areną zaciętych walk pomiędzy oddziałami chorwackimi i muzułmańskimi. W ich wyniku zniszczeniu uległy wszystkie meczety oraz cerkiew prawosławna. Niewielu Boszniaków powróciło do miasta po zakończeniu wojny. W 2001 roku rozpoczęła się rekonstrukcja zniszczonych zabytków.