I unge år var han like aktiv som maler, og skrev i flere år kunstkritikk. Han kom fra en kulturell familie; faren Karl var landbruksprofessor, broren Olof var litteraturviter og broren Torger var maler. Rabbe Enckell var gift tre ganger; først med Hanna Runeberg, som forlot ham for den yngre forfatterkollegaen Oscar Parland, senere med de to malerne Alice Kaira (1943–46) og Aina Dagny Maria Erikson (fra 1949). Han bodde fra 1960 til 1972 i Diktarhemmet i Borgå.