Victor Segalen var sønn av Victor-Joseph Segalen (skriver i marinekommissariatet) og Ambroisine Lalance. Han fikk meget av sin tidlige utdannelse ved jesuittenes i Brest, . Han tok sitt baccalauréat som 15-åring og fortsatte med studier i filosofi ved Brests , og utmerket seg der. I 1895, begynte han ved vitenskapsfakultetet i Rennes. Han studerte senere skipsmedisin i Bordeaux.