I perioden 1911-1962 fungerte Holmsbu som en kunstnerkoloni. Det var Oluf Wold-Torne og Thorvald Erichsen som «oppdaga» Holmsbu i 1911, og begynte å male her. Sørensen kom første gang til stedet i 1913, og oppholdt seg siden årvisst her inntil sin død, med to års unntak. Andre kunstnere som oppholdt seg og arbeida her var Aage Storstein, Per Deberitz, Per Krohg, Willy Midelfart, Reidar Fritzvold, Dagfin Werenskiold, Lars Jorde, Håkon Stenstadvold, Hugo Lous Mohr, Axel Revold, Alf Rolfsen, Jean Heiberg og Joronn Sitje. De fleste oppholdt seg i Holmsbu noen uker om sommeren. Enkelte, som italieneren Alberto Rosati, bosatte seg i Holmsbu. Kretsen av kunstnere som var en del av kunstnerkolonien i Holmsbu kalles ofte kollektivt for "Holmsbumalerne". På 1950-tallet deltok flere av disse i utsmykninga av Holmsbu kirke.