A devenit activ în lupta armată împotriva guvernului otoman și a trupelor neregulate kurde la sfârșitul anilor 1880. Andranik s-a alăturat partidei Federația Revoluționară Armeană (Dashnaktustyun) și, alături de alte "" (miliții), a căutat să apere țărănimea armeană ce locuia în patria lor ancestrală, un teritoriu cunoscut ca , la acel timp parte a Imperiului Otoman. Activitățile sale revoluționare au încetat și a părăsit Imperiul Otoman după eșuata . În 1907, Andranik a părăisit Dashnaktustyun deoarece n-a fost de acord cu cooperarea cu Junii Turci, o grupare care în anii ulteriori va săvârși Genocidul Armean. Între 1912 și 1913, alături de , Andranik a condus câteva sute de voluntari armeni în cadrul armatei bulgare în lupta împotriva otomanilor din timpul Primului Război Balcanic.