Bei den allgemeinen Unterhauswahlen 1997 verlor Rifkind seinen Unterhaussitz Pentlands zusammen mit allen konservativen Abgeordneten in Schottland und Wales. Seine Nachfolgerin im Wahlkreis wurde die Labour-Kandidatin Lynda Clark. Rifkind war einer von wenigen Kandidaten, die bei den Unterhauswahlen 2001 sich erneut in ihrem alten Wahlkreis bewarben – in seinem Fall Edinburgh Pentlands; obwohl er sein Ergebnis von 1997 verbesserte, war er nicht im Stande, den ansehnlichen Vorsprung von 10,6 % bei einer Wahl wettzumachen, bei der die Konservativen kaum Fortschritte erzielten. Während dieser Zeit war er als Präsident der Schottischen Konservativen aktiv und benutzte seine Stellung außerhalb des Parlaments von Westminster, um 2003 den Irak-Krieg und Blairs Unterstützung für die amerikanische Invasion zu kritisieren. Zu dieser Zeit unterstützte die Conservative Party standhaft die Invasion.