В 1910 году Якова Демидова призвали в армию. Он служил он в лейб-гвардии драгунском полку, раскварированном в Петергофе. С началом Первой мировой войны оказался на фронте. За отличие в боях был награжден тремя Георгиевскими крестами. Был произведен в прапорщики. Февральская революция 1917 года застала его в Брянске, где он командовал ротой 257-го стрелкового полка.