Navnet Woolloomooloo kommer fra den første bygninga i området, Woolloomooloo House, som ble oppført av landeieren John Palmer. Det er usikkert hvordan han fant på navnet, men man regner med at er inspirert av et eller annet aboriginsk ord.