Kaustby er kjent for sine spillemannstradisjoner og for den årlige folkemusikkfestivalen som finner sted midt i juli. Videre avholdes i januar hvert år en kammermusikkuke. Kaustby kaller seg for en «musikk-kommune» og har en fiolin i kommunevåpenet.