Robison ble født inn i en kjøpmannsfamilie bosatt i Glasgow i 1739. Han studerte matematikk og andre realfag ved universitetet der, og ble uteksaminert i 1756. Etter et kort opphold i London begynte han i Royal Navy som midtskipsmann og var involvert i ekspedisjonene til Quebec og Portugal. Der utmerket han seg spesielt innen navigasjon.