På kunstsiden var han en ivrig samler, blant annet av Ludvig Karsten (1876–1926) som også var Sagens venn. Ellers gikk det i samtidige impresjonister fra Frankrike, noen av disse donert til Nasjonalgalleriet i 1917. Sammen med den danske grosserer Christian Tetzen-Lund (1858–1936) begynte han i 1914 å erverve kunstsamlingen til Sarah Stein (1870–1953) og Michael Stein (1865–1938), forøvrig bror til Gertrude Stein. De var jo samlere av moderne kunst, og Matisse-velgjørerne over andre. De hadde i 1914 lånt ham (Matisse) nitten av hans malerier for en utstilling i Berlin. Grunnet krigsutbruddet ble maleriene «stående fast» i Europa, og det var disse som Sagen og Tetzen-Lund lyktes å erverve seg. Tetzen-Lund hadde jo hadde få år tidligere solgt unna sine gamle maleri for å konsentrere seg om samtidens kunstnere, forøvrig solgt på auksjon rundt 1925. Da Ludvig Karsten skulle stille ut i Stockholm i 1921, lånte Sagen ut atten verker. Ti krittegninger av August Strindberg eide han også.