Hans far var Thomas Brown fra Liberia som var slangedanser og fakir, gift med Carolina Brown som også var artist. De reiste sammen sammen med Thomas sine foreldre Sam Brown (1870–1938) og Gustava Brown (–1939), og ble i 1915 engasjert av Cirkus Empress og bosatte seg på Lillestrøm. Pete Brown ble født i 1921 da ensemblet oppholdt seg i Trondheim. Etter foreldrene reiste til Latin-Amerika i 1928, var Pete bosatt hos besteforeldrene. Sammen med adoptivsøsteren Jossie Pollard (1921–2000) ble de av besteforeldrene sendt på turne, etter hvert antok paret på eget initiativ turneen som «The Two Chocolate Kids».