Hans forskning førte ham inn i nær kontakt med det kulturelle samfunn, og han ble kunnskapsrik om litteratur og kunst. Han og kona Yvette samlet bøker, malerier, møbler, smykker og andre kunstverk fra rundt om i verden. Gastaut hadde også en langvarig interesse for den menneskelige hodeskallen og tilbedelse og ritualer rundt den i primitive kulturer. Han samlet en unik samling av sjeldne eksemplarer som han viste frem i sitt hjemmekontor og som ga ham stor fornøyelse å vise. På slutten av sitt liv, donerte han samlingen til Vieille Charité Museum i Marseille.