તેના ઉત્પત્તિના કેટલાક પાસાઓ ખોવાઈ જાય છે, તેમ છતાં બ્રિટીશ ઇતિહાસકાર ડેમિઅન કેઉન કહે છે કે પ્રારંભિક યોગાકારા સંભવતઃ સર્વોસ્વાવાડા નામના એક પ્રારંભિક બૌદ્ધ સંપ્રદાયની ગાંધાર શાખા સાથે જોડાયેલો છે.