Etter uoverensstemmelser med hoffet forlot han Danmark i 1772 og bosatte seg i Stockholm hvor han i 1778 ble direktør for kunstakademiet. Carl Gustaf Pilo var sønn av maler Olof Pilo, 1668-1753, og bror til Jøns Pilo, 1707-ukjent.