Peter var sønn av kontreadmiral Urban Gad og forfatteren Emma Gad. Peter var også Paul Gauguins nevø. Han ble utdannet maler i Paris.