Blant de mange veldedige formål Caroline Knudtzon støttet var Kristiansunds Musikforening, som ble stiftet i 1872.