In Wien blieb Rosdolsky weiterhin in der KPÖ aktiv. Während der Demonstrationen beim Wiener Justizpalastbrand am 15. Juli 1927 lernte er seine spätere Frau, die 16-jährige Emily Meder kennen. In der KPÖ-Zelle im 9. Wiener Gemeindebezirk arbeiteten Meder und Rosdolsky seither eng zusammen. In einem Interview mit Fritz Keller berichtet Emily Rosdolsky, "„dass an Zellenabenden so 15 Leute [anwesend; Anm.] waren“". Nächte lang soll der Trotzkist Rosdolsky dort mit Anhängern Heinrich Brandlers und linientreuen Stalinisten gestritten haben. 1926–1931 arbeitete Rosdolsky in Wien als Korrespondent des Moskauer Marx-Engels-Instituts, wobei er unter der Leitung von David Rjasanow Material für das Archiv zusammentrug und an der Marx-Engels-Gesamtausgabe (MEGA) mitarbeitete, bis Stalin 1931 die Einstellung der MEGA beschloss.