મોદી સાથે રહીને કામ કરવાની ઑફર ઠુકરાવી દીધી હતી : પવાર