પંકજ બિહારના ગોપાલગંજના એક ખેડૂત પરિવારમાંથી આવે છે. તેમના પિતાનું નામ પંડિત બનારસ ત્રિપાઠી છે અને માતાનું નામ હેમંતી દેવી છે. પંકજના જણાવ્યા અનુસાર તે જ્યારે ગામમાં રહેતા હતા ત્યારે તેમના પિતાજી કહેતા હતા કે ભણીગણીને ડોક્ટર બનજે અને પટનામાં કામ કરજે.