Kaas ble den 6. oktober 1768 i Ormslev Kirke gift med Frederikke Amalie Charisius (født 29. desember 1749, død 18. mars 1828), datter av konferensråd Constantin August Charisius og søster til broren F.C. Kaas' hustru. Kaas er begravet i Holmens Kirke og er portrettert på Wilhelm von Haffners gruppebilde fra appartementet på Christiansborg 1781 (Rosenborg Slot). Maleriet av Peder Als, som tidligere er blitt oppgitt å forestille Kaas, er i virkeligheten et portrett av broren F.C. Kaas.