Casse var borgermester i Købenavn og medlem av Folketinget. Han var gift med kvinnesakskvinnen Severine Casse og sammen var de foreldre til forfatteren Therese Brummer.