Rajmund var sønn av Stanisław Rembieliński og Marianna Łęczyńska. Han var gift med Agnieszka Helena Opacka, men ble senere skilt. Hans andre kone var Antonina Weltz, som han hadde to sønner med: Aleksander og Eugeniusz.