Родился в Париже. Являлся племянником бригадного генерала Николя Раффе, революционера и военачальника, заработавшего свой генеральский чин на площадях Парижа, вечного соперника Франсуа Анрио за должность командующего Национальной гвардией. За период революции генерал Раффе дважды был арестован: его подозревали в недостаточно левых взглядах, а потом и вовсе в симпатиях к роялистам — за нерешительное поведение при разразившемся Вандемьерском мятеже, подавлять который в итоге пришлось Бонапарту. За месяц до рождения племянника генерал скончался, поэтому каких-либо дивидендов это родство художнику не принесло.