แต่ความพยายามที่ล้มเหลวในการยึดคอนสแตนติโนเปิลเป็นครั้งที่สองในปี ค.ศ. 717 เป็นการลดอำนาจและความเป็นผู้นำของอุมัยยะห์ลง เมื่อได้รับชัยชนะในไอบีเรียแล้วฝ่ายอาหรับก็เดินทัพขึ้นเหนือแต่ไปพ่ายแพ้ต่อชาร์ลส์ มาร์เตลผู้นำของจักรวรรดิแฟรงค์ในยุทธการปัวติเยร์ในปี ค.ศ. 732 เมื่อมาถึงปี ค.ศ. 750 จักรวรรดิกาหลิปอุมัยยะห์ถูกโค่นโดยจักรวรรดิกาหลิปอับบาซียะห์ ราชวงศ์อุมัยยะห์ก็ถูกสังหารไปจนแทบหมดสิ้น