Khalili ble født i Kabul-provinsen og kom fra samme landsby som Habibullah Kalakani. Han skrev utelukkende på persisk og forbindes enkelte ganger med nasjonalistisk ideologi i Tadsjikistan. Han tilhørte den persisktalende Safi-klanen fra Kohistan (i dag Parvan). Hans far, Mirzā Muhammad Hussein Khān, var kong Habibullah Khans finansminister og eide herskapshus i Kabul og Jalalabad, men ble senere avskjediget og hengt av Habibullah Khans sønn og etterfølger, Amanullah Khan. Moren hans var datter av Abdul Qādir Khān, en regional stammeleder for Safi-klanen. Hun døde da Khalili var sju år gammel.