En agosto de 1914 estalló la Primera Guerra Mundial. Ulbricht sirvió desde 1915 a 1917 en el Frente Oriental y más tarde en los Balcanes. En 1917 desertó del Reichsheer, ya que se había opuesto a la contienda desde el comienzo, como la mayor parte de los izquierdistas europeos de la época. Fue inmediatamente encarcelado en Charleroi, pero sería liberado en 1918 tras producirse la revolución de noviembre. Durante el conflicto se adhirió al ala izquierda socialdemócrata, que se escindió en el Partido Socialdemócrata Independiente de Alemania (USPD), por su oposición a participar en la contienda, y más tarde, en 1918, a la Liga Espartaquista. Participó en la creación del Partido Comunista de Alemania (KPD) en 1918 y en los hechos revolucionarios de aquel mismo año. En 1923 ingresó en el Comité Central del KPD y comenzó una intensa actividad en el partido. Llegó a ser elegido diputado al Reichstag en 1928 y ocupó su escaño hasta 1933.