કહેવાય છે કે કબીરના સમયમાં કાશીના પંડિતોને ગૌતમ બુદ્ધના વારાણસીમાં વધતા પ્રભાવનો ડર સતાવા લાગ્યો.