伦·克拉克之子。外祖母玛丽·安娜·克拉克曾是宫廷交际花。杜穆里埃从小被告知祖父母是法国大革命期间逃到英国的流亡贵族，在法国拥有丰富的地产。但实际上，他的祖父罗伯特·马杜林·布松只是一名为了躲避诈骗指控抛弃妻儿的玻璃场主和投机商人，杜穆里埃则是其回到法国萨尔特省定居之后的改姓。乔治·杜穆里埃早年曾在夏尔·格莱尔的画室学习，之后去往安特卫普，但期间由于左眼失明，不得不放弃画家生涯。为求医他搬到了杜塞尔多夫，并在那里遇到未来的夫人艾玛·怀特威克。两人1863年在伦敦完婚。1865年，杜穆里埃成为杂志《喷趣