出於上述原因，當諾曼人的威脅解除後，科穆寧王朝的皇帝曾幾經努力，試圖取締威尼斯人的特權，但是其強大的海上勢力使東羅馬望而卻步。1122年，約翰二世·科穆寧皇帝取消了威尼斯的特權，後者立即以強大的艦隊劫掠愛琴海諸島，並占領了科孚島和凱法利尼亞島。從此，威尼斯人更肆無忌憚地在東羅馬海域和君士坦丁堡城橫衝直撞。在馬爾馬拉海和黑海的各主要港口，停泊著威尼斯的大批商船，在首都郊外的加拉塔和佩拉居住著無數威尼斯富商大賈，他們自恃財大氣粗，耀武揚威，驕橫無比，東羅馬臣民對這些拉丁人無不恨之入骨。東羅馬與威尼斯的第二個鬥爭回合發生在約翰二世的兒子曼努埃爾一世在位時期。雖然曼努埃爾一世是十字軍的朋友，但雙方都不能忘記他們互相革除了對方的教籍。為了壓制威尼斯人的氣焰，他把貿易特權授予熱那亞、比薩等城市，試圖以此牽制威尼斯人，兩國關係為此更加緊張。1171年，在曼努埃爾一世的詔令下，東羅馬全國發生了驅逐威尼斯人的行動，全部威尼斯僑民被逮捕，他們的貨物和商船被沒收。威尼斯艦隊迅即入侵東羅馬水域，但很快被曼努埃爾成功重建的東羅馬海軍擊敗。東羅馬帝國籍此一度擺脫威尼斯的經濟控制，但其代價是帝國與威尼斯不再有重建友好關係的可能，埋下了1204年十字軍洗劫君士坦丁堡的禍根。與此同時，突厥依然是一個威脅，1176年他們擊敗了曼努埃爾所率領的東羅馬、匈牙利與十字軍國家的四萬大軍。這次軍事失利對東羅馬而言，與此前的諾曼人戰爭、匈牙利戰爭相比，並不算傷筋動骨，因為死傷的萬餘人中，絕大部分是匈牙利和十字軍國家的僕從兵，東羅馬的主力部隊基本保存完好。但是就往後的發展而言，仍然是一個轉捩點：本以為必勝的曼努埃爾一世為此意志消沉，不久去世，留下年幼的孤兒阿萊克修斯二世與不得人心的攝政皇太后安條克的瑪麗，而小阿萊克修斯的皇位很快就為堂叔本都總督安德洛尼卡·科穆寧篡奪。科穆寧王朝100年間的穩定發展宣告終結，又一個政變頻發的時代來臨了。
一般認為1171年下令驅逐威尼斯人後，成了之後哪個禍害的導火線?