El 5 de diciembre de 1991, por decisión del Gobierno de la República Socialista Soviética de Armenia, se creó el Comité de Defensa del Estado, institución dependiente del Consejo de Ministros. El primer jefe de este departamento fue Vazgen Sargsián. El 28 de enero de 1992, el Gobierno de Armenia aprobó una resolución "Sobre el Ministerio de Defensa de la República de Armenia", que, en realidad, era un cambio de nombre del Comité de Defensa del Estado creado anteriormente. Sargsyan fue nombrado primer ministro de Defensa de Armenia. La patrulla de la policía y el regimiento de operaciones especiales del Ministerio del Interior de Armenia,el regimiento de Protección Civil de la República de Armenia y el Comisariado Militar de la República fueron transferidos a la subordinación del ministerio recién formado. El siguiente paso fue la creación del aparato central del Ministerio de Defensa, que incluía el Cuartel General y la dirección. En mayo de 1992, el Ministerio de Defensa llevó a cabo el primer reclutamiento de militares en el territorio de la república. La formación del departamento militar coincidió con el inicio de operaciones a gran escala en la Primera Guerra de Nagorno Karabaj, en la que participaron activamente las Fuerzas Armadas de Armenia. El Ministerio de Defensa participó directamente en el mando de las fuerzas armenias en el territorio de Nagorno Karabaj y en las formaciones del Ejército de Defensa de Artsaj. Al final de las hostilidades a principios de 1994, el departamento militar de Armenia inició el proceso de reforma militar.