Colville ble utdannet ved Marlborough College før han ble en del av mannskapet ombord på HMS «Britannia» i juli 1874. I oktober 1876 ble Colville forfremmet og han ble en del av den britiske flåten i Middelhavet. I mai 1878 ble Colville forflyttet til slagskipet HMS «Black Prince» i Den engelske kanal og i januar 1879 var han ombord korvetten «Boadicea» som var stasjonert ved Kapp det gode håp. Senere samme året tjenestegjorde Colville på land under zulukrigen i 1879. I oktober 1880 ble Colville stasjonert i Portsmouth i Hampshire for videre militær opplæring.