उनके स्वभाव के कारण उनके माता-पिता उनसे अप्रसन्न रहते थे। कुछ समय बाद उन्होंने रविदास तथा उनकी पत्नी को अपने घर से भगा दिया। रविदास पड़ोस में ही अपने लिए एक अलग इमारत बनाकर तत्परता से अपने व्यवसाय का काम करते थे और शेष समय ईश्वर-भजन तथा साधु-सन्तों के सत्संग में व्यतीत करते थे।