Bayburt posee una importante fortaleza bizantina.