Dibango var via sin far medlem i den etniske gruppen yabassi, skjønt hans mor tilhørte folkegruppen duala. Faren var statstjenestemann. Via Frankrikes marine ble jazzen kjent i hans hjemby i 1940-årene, og likeså annen vesterlandsk musikk.