Así, en 1781 cuando tan sólo tenía siete años muere su madre; al año siguiente, su hermana Elisabeth de viruela; en 1787 su hermano Johann Christoffer, ahogado al intentar salvar al propio Caspar que se había hundido en el hielo, lo que le conmovió tanto por su corta edad, trece años, como por creerse culpable de tal suceso; y, finalmente, su hermana María en 1791 por tifus.