Die Bildhauerin Anna Mahler kam 1950 aus dem Londoner Exil zu ihrer Mutter Alma Mahler-Werfel nach Los Angeles, um ihr beim Umzug nach New York zu helfen. Joseph hatte sie 1933 bei Werfel in Wien gesehen und erhoffte sich nun ein Wiedersehen. Ab 1951 lebten die beiden zusammen, 1970 heirateten sie, es war Anna Mahlers fünfte Ehe und beider letzte. Seine "Schwiegermutter" Alma Mahler-Werfel war auch mit dieser Liaison ihrer Tochter nicht einverstanden und ignorierte Joseph in ihren autobiografischen Schriften. Joseph produzierte zwei Dokumentarfilme mit Anna Mahler, "A Stone Figure" (1954) und "Tower of Masks" (1965), sowie "Alma Mahler-Werfel" (1956), das einzige Filmdokument, das Alma Mahler zeigt, in dem hinter der übermächtigen Mutter die Tochter nur durchs Bild huscht. Für den Film "A Stone Figure" erhielt Joseph 1964 bei den Filmfestspiele in Cannes ein Diplôme de d'honneur. Ab 1969 lebten Mahler und Joseph vorwiegend in Spoleto, wo beide Ehrenbürger wurden. Joseph steuerte 1975 den biografischen Teil sowie die meisten Fotos zu einem Bildband über Anna Mahler beim Belser-Verlag bei. Seit 1985 arbeitete sie ohne Joseph in London in der Nähe ihrer Tochter Marina und verstarb 1988, nach 38 Jahren, zum Schluss distanzierten, Zusammenseins mit Joseph.