Levin isä oli juutalainen liikemies. Opiskeltuaan oikeustiedettä hän valmistui vuonna 1905 Heidelbergin yliopistosta ja asettui seuraavana vuonna Frankfurt am Mainiin harjoittamaan asianajajan ammattia. Hän liittyi vuonna 1906 myös Saksan sosiaalidemokraattiseen puolueeseen (SPD), jossa hänestä tuli Rosa Luxemburgin ja Karl Liebknechtin johtaman radikaalin vasemmistosiiven kannattaja. Levi ystävystyi varsinkin Luxemburgin kanssa ja heidän välillään oli intiimiä kirjeenvaihtoa, joka on myöhemmin julkaistu. Levi toimi Luxemburgin asianajajana tämän ollessa syytettynä poliittisessa oikeudenkäynnissä helmikuussa 1914. Ensimmäisen maailmansodan aikana Levi värvättiin vasten tahtoaan Saksan armeijaan, mutta hän pakeni vuonna 1916 Sveitsiin, jossa tutustui muun muassa Vladimir Leniniin. Levi edusti Saksan Spartakistiliittoa helmikuussa 1917 Sveitsin Oltenissa järjestetyssä Zimmerwald-vasemmiston kansainvälisessä konferenssissa. Hän palasi vallankumouksen jälkeen Saksaan ja osallistui vuoden 1918 lopussa Saksan kommunistisen puolueen perustamiseen.