Rörer ble 1525 gift med Johanna (Hannika) Bugenhagen, søsteren av presten i Wittenberg. Hun fødte samme år en sønn, Paul. I 1526 døde Johanna av pesten, og Rörer flyttet med sin sønn til Luthers hjem. I 1528 giftet Rörer seg trolig med en tidligere nonne kalt Magdalena, som han fikk fire barn med (Johannes, Stefan, Anastasia og Hanna).