落語界入りする以前にも土地のバクチ打ちの養女と関係が出来て横浜にいられなくなり、落語界入り後も桂小莚で二つ目だった時代には8代目林家正蔵(林家彦六)の妻・岡本マキの4番目の姉である山畑千代と駆け落ちし、若手真打の翁家馬之助の頃には女性関係をゴシップ専門の新聞に書きたてられ、お茶子であった最初の夫人の帰省中に関係のあった女性が自宅に入れ代わり立ち代わりする程に女性関係が派手であった8代目文楽だけに、内縁も含めて生涯に数度所帯を構えている。