Bennelong ble ført til bosetningsområdet til kolonistene i Sydney Cove i november 1789 etter ordre fra guvernøren Arthur Phillip og Kong George 3. Formålet var å etablere et godt forhold til urbefolkningen. På den tiden var eora-folket mistenksomme mot britene, og unngikk enhver kontakt med dem. Som et tegn på desperasjon, bortførte Phillip Bennelong sammen med en ved navn Colbee, som også tilhørte eora-folket. Phillip hadde som mål å lære lokalbefolkningens språk og skikker. Bennelong var på dette tidspunktet rundt 25 år og ble beskrevet som en med godt humør og en som hadde enorm appetitt.