Henri Fantin-Latour far Théodore Fantin-Latour var portrettmaler og underviste i kunst. Hans mor var fra Russland. I 1841 flyttet familien til Paris.