Cambió su lealtad a Armenia antes de la caída de la Unión Soviética. Harutiunyan fue nombrado viceministro de Asuntos Internos y vicepresidente del Comité de Defensa de Armenia en 1991, en medio de la Primera Guerra de Nagorno-Karabaj. En 1992, asumió el cargo de Subjefe de Estado Mayor del Alto Mando de las Fuerzas Armadas de la Comunidad de Estados Independientes. Harutiunyan fue elegido representante de las Fuerzas Armadas de Armenia en la Comunidad de Estados Independientes en 1994.