Se graduó en 1941 y empezó a servir ese mismo año en el Ejército Rojo hasta 1945, en el cuerpo de transportes primero y más tarde de oficial artillero. Participó en la mayor batalla de tanques de la historia (Batalla de Kursk) y fue detenido en febrero de 1945 en el frente de Prusia Oriental, cerca de Königsberg (hoy Kaliningrado), poco antes de que empezara la ofensiva final del Ejército soviético que acabaría en Berlín. La razón de esta detención fueron algunas cartas enviadas con un amigo en las que criticaba la conducción de la guerra por Stalin. Por ello, fue condenado a ocho años de trabajos forzados. Lo encerraron en la Lubianka y los primeros años de su cautiverio los pasó en varios campos del Gulag hasta que, gracias a sus conocimientos matemáticos, fue a parar a un centro de investigación científica para presos políticos, "sharashka", vigilado por la Seguridad del Estado. Eso le inspiró su novela "El primer círculo". El tema de las penalidades sufridas por los excombatientes de la Gran Guerra Patria, acusados de haber tenido demasiado contacto con el enemigo, aparece también en otros autores soviéticos de la época, como Vasili Grossman.