Han var sønn av den tyskfødte offiseren og kommandanten på Fredriksten festning Joachim Caspar von Rappe (–1699). Moren var av slekten Winterfeld. I 1728 ble han gift med den rike Dorothea Gjordsdatter (1686–1742), datter av justisråd Gjord Andersen.