I 1917 ble han introdusert for en baronesse, (Fullt navn: Baronesse Hilla Rebay von Ehrenwiesen) som også var kunstner. De ble elskere og delte studio omkring 1919. Hennes familie var mot forholdet, som etterhvert ble mer platonisk. Han dro på tur til Italia uten henne tidlig på 1920-tallet, og de korresponderte en del.