Han var sønn av kjøpmann George Robertson og hustru Anna Albrethson på Fuglenes. Farsslekten kom fra Skottland til Hammerfest med hans farfar Charles Robertson den eldre i 1827. Familiebedriften G. Robertson drev handel med saltfisk og tørrfisk, håkjerringfiske og selfangst. De hadde en rekke filialer og fiskevær langs hele Finnmarkskysten, ishavsskuter, eksportforretninger med utlandet, tranbrenneri, pelsberederi og import av kull og salt.