જો કે ૨૦૦૯માં જ્યારે લોકસભાની ચૂંટણીમાં ભાજપે અજય રાયને વારાણસીની બેઠક આપવાનો ઇનકાર કર્યો અને વારાણસીની બેઠક ભાજપે મુરલી મનોહર જોષીને આપી ત્યારે અજય રાયે ભાજપમાંથી બળવો પોકાર્યો હતો.