કોળીઓનો સંબંધ ભગવાન બુદ્ધ સુધી પહોંચે છે કારણ કે બૌદ્ધ ગ્રંથો મુજબ બુદ્ધની માતા માયા દેવી તથા પત્ની યશોધરા તે કોળી સમાજની સ્ત્રીઓ હતી. કોળીઓનું ગોત્રનામ''વ્યાઘ્રપદ''છે.