Khoyski a fost ales deputat în cea de-a Doua Dumă de Stat a Imperiului Rus ca reprezentant al guberniei Elizavetpol din Caucaz. Într-un discurs ținut în Duma de Stat pe 2 februarie 1907, el a criticat politica rusă de colonizare în Azerbaidjan și Caucaz. Deși a fost înscris în mod oficial în Partidul Constituțional Democratic (cunoscut sub numele de "Kadets"), a făcut parte, de asemenea, din fracțiunea musulmană a Dumei de Stat. Pe 27 martie 1917, la scurt timp după Revoluția din Februarie din Rusia, Khoyski a devenit membru al Comitetului Executiv Provizoriu al Consiliilor Naționale Musulmane. În primul congres al partidului Musavat din 26-31 octombrie 1917, Khoyski a cerut acordarea autonomiei pentru regiunea Azerbaidjan. În decembrie 1917 a fost ales membru al nou-înființatului Comisariat Transcaucazian și numit ulterior ministrul de justiție al Republicii Democratice Federative Transcaucaziene, care s-a proclamat stat independent și se întindea pe teritoriile statelor moderne Armenia, Azerbaidjan și Georgia, plus pe porțiuni din estul Turciei și din zona de frontieră rusă.