Det ble gjort flere forsøk fra Milorgs side på å likvidere Kaas, blant annet 4. desember 1944 utenfor boligen hans i Vestheimsgata 6 i Oslo, hvor svogeren og kollegaen Reidar Voigt ble likvidert.