Han ble i 1791 gift med Varvara Aleksandrovna fyrstinne Vjazemskaja (1774-1849) i St. Petersburg. Rosenkrantz er gravlagt på Rye kirkegård ved herregården hans Ryegård.