Ende giftet seg i 1964 med skuespillerkollegaen Ingeborg Hoffman i 1964; paret bosatte seg etterhvert i Italia. Etter at Ingeborg Ende døde i 1985 bosatte han seg i München igjen, hvor han i 1989 giftet seg med sin japanske oversetter Mariko Sato.