בבחירות הכלליות ב-1997 הוא איבד את מושבו של מחוז הבחירה "פנטלנדס" יחד עם כל השמרנים בסקוטלנד (ובויילס), והוחלף בחברת מפלגת הלייבור לינדה קלארק. ריפקינד היה אחד מחברי הפרלמנט המעטים שניסו שוב להיבחר לפרלמנט הבריטי מטעם מושבם הישן - במקום לחפש מחוז בחירה בטוח יותר - והתמודד שוב על מחוז הבחירה אדינבורו פנטלנדס נגד קלארק בבחירות הכלליות ב-2001. אף על פי ששיפר את מצבו במידה מסוימת, לא הצליח להיכנס לפרלמנט. בתקופה זו הוא נשאר פעיל מבחינה פוליטית, כנשיא השמרנים הסקוטיים, והשתמש במעמדו מחוץ לארמון וסטמינסטר כדי לבקר את הפלישה לעיראק ב-2003 ואת תמיכתה של ממשלת טוני בלייר בה. בניגוד לעמדתו, המפלגה השמרנית תמכה באותה עת בפלישה.