Paulines far var en yngre bror av kong Fredrik I av Württemberg. Ludwig Friedrich – kalt Louis – hadde gode forbindelser til den russiske tsarfamilien, ettersom hans søster var tsarinaen Maria Feodorovna (født Sophia Dorothea av Württemberg), og tjenestegjorde både i den russiske arméen og som guvernør i Riga. Her ble Pauline født, som parets tredje datter.