Foreldrene til faren til James Ensor var engelske, moren var belgisk. Da Ensor var femten, sluttet han skolegangen og begynte i lære hos to lokale kunstnere. Fra 1877 til 1880 studerte han ved Académie Royale des Beaux-Arts i Brussel. Han stilte ut første gang i 1881. Fra 1880 til 1917 hadde han atelier på loftet i foreldrenes hus. Han foretok få reiser og arbeidet i Oostende hele sitt liv. I 1917 flyttet han inn i et hus han hadde arvet etter en onkel. Bygningen huser i dag James Ensor-museet.