Pauker ble antagelig født i Codăești, Vaslui, der hennes besteforeldre bodde, men vokste opp i București, der hennes foreldre, Sarah and Zvi Hersh Kaufman Rabinsohn, bodde. De hadde fire barn som ble voksne, mens ytterligere to døde som spedbarn. Ana ble med i Romanias sosialdemokratiske parti i 1915 og dets etterfølger, Romanias Sosialistparti, i 1916. Dette skjedde mens hun arbeidet som lærer for hebraisk og jødisk kultur på den samme skolen som hun hadde vært elev ved. Der ble hun indoktrinert i sosialistisk ideologi av Henry Steinberg, historielæreren, som hun ble forelsket i. Etter en stund begynte hun å lære elevene revolusjonære sanger og nektet å undervise dem i religion. Hun fikk en advarsel av skoleledelsen, men ble til slutt avskjediget i 1917. Hun forsørget seg deretter ved å være privatlærer for barn av rike jødiske familier. Hennes yngre bror, Zalman, som var sionist, forble religiøs hele sitt liv. I september 1919 reiste hun til Genève i Sveits etter at hun hadde hørt at hun kunne ta artium der fortere enn i Romania. Hennes plan var å returnere deretter til Romania og studere medisin. Hennes fremtidige mann, Marcel Pauker, hadde også reist til Zürich noen måneder i forveien for å fullføre sine sivilingeniørstudier. På grunn av økonomiske problemer (bl. a. begikk hennes bror Jakob, som hadde regelmessig sendt henne penger, selvmord), måtte hun avbryte sine studier, reiste til Zürich til Marcel, giftet seg med ham og reiste sammen med ham tilbake til Romania i august 1921, da han avsluttet sine studier. Ana var aktiv i den pro-bolsjevikiske fløyen av partiet som tok kontrollen i partiorganisasjonen etter kongressen mellom 8. og 12. mai 1921. Partiet ble da medlem av Komintern under navnet Det Sosialist-Kommunistiske Partiet. Det skulle senere utvikle seg til Romanias Kommunistiske Parti. Pauker og hennes mann var ledende medlemmer i partiet.