Gainsbourgs far var utdannet klassisk pianist, men forsørget familien ved å spille på casinoer og cabareter, og alle tre barna - Jaqueline, Serge og hans tvillingsøster Liliane - lærte å spille piano. I det tysk-okkuperte Paris i 1940 var Ginsburgs nødt til å erkjenne sin jødiske herkomst, og ta på seg jødestjerne i 1942. Jaqueline forklarte i 2007 at moren deres sydde jødestjernen på slik at de kunne dekkes til. Falske papirer gjorde de mulig for familien å gå i dekning i Limoges og overleve krigen. I 2007 bodde søsteren Jacqueline Ginsburg fortsatt i leiligheten i nr 55 i avenue Bugeaud (omdøpt til avenue d'Anne Hidalgo i oktober 2024) som familien kjøpte da de flyttet tilbake til Paris i 1946. Tidligere hadde han innspilt duetten Bonnie & Clyde med Bardot. I 1973 hisset han på seg franske myndigheter med lagt til Nazi-Tyskland. Senere eksperimenterte han med reggae, særlig kjent er sangen , da han i 1979 rekrutterte en gruppe reggae-musikere fra Jamaica til en nyinnspilling av , noe som provoserte franske krigsveteraner og blant andre Michel Droit, redaktør i avisen , som kalte innspillingen upatriotisk og antisemittisk. Gainsbourg svarte i en annen avis ved å vise til sine egne erfaringer som jøde, og erklærte seg som fransk patriot. Likevel opplevde mange innspillingen som et heller enn en hyllest.