જે રીતે આપણા દેશમાં દરેક પર્વ પાછળ કોઈને કોઈ દંતકથા છુપાયેલી છે તે જ રીતે ભાઈબીજના સંદર્ભમાં પણ એક અતિપ્રાચીન કથા પ્રચલિત છે. કહેવાય છે કે પૌરાણિક કાળમાં આ જ દિવસે મૃત્યુના દેવતા યમદેવે તેમની બહેન યમીના દર્શન કર્યા હતા, જે ઘણા દિવસોથી તેમને મળવા માટે વ્યાકુળ હતી. તેથી આ પર્વને યમ દ્રિતીયા પણ કહેવાય છે.