Peder Kaasbøl Rosenvinge var far til sokneprest i Ytterøy, Jacob Christian Rosenvinge (1737–1812), som har stor etterslekt, og borgermester i Bergen, kansellisekretær Eiler Hagerup Rosenvinge (1742–1805). Datteren Susanne Kaasbøl Rosenvinge (1738–71) ble gift med samemisjonæren Jesper Andreas Kolderup, og deres sønn, generalpostdirektør Peter Andreas Rosenvinge Kolderup (1761–1824), ble i 1811 adlet under navnet Kolderup-Rosenvinge.