I 1862 ble han utnevnt til amtmann og kommandant på Færøyene. I 1865 ble embetet som kommandant på Tórshavns skanse nedlagt, idet garnisonen ble erstattet med et politikorps, og Holten fortsatte bare som amtmann. Som amtmann ledet han også forhandlingene på det færøyske Lagtinget. På Færøyene har Holten blitt beskrevet som «militant og stordansk». Han motsatte seg et eget lærerseminar på øyene i frykt for at undervisning på færøysk ville svekke båndet mellom Færøyene og Danmark, men forberedte den nye skolelovgivningen av 1871 og det kommunale selvstyret av 1872.