Крепостта е съществувала още по времето на траките, преустроена е от Византия през IX век, за да охранява вратата на Беломорския проход и да осигури византийската граница в този край. Първите писмени сведения за крепостта са от XI век и са получени от устава на тогава построения Бачковски манастир. От тези сведения се вижда, че Асеновата крепост е притежавала собствена охрана и администрация. Превземана е от кръстоносците по времето на Четвъртия кръстоносен поход. Крепостта съществува до 1410 г., разрушена е от нахлуващите османски войски.