Colbeck gikk på Hull Grammar School og tok deretter et seks måneders kurs i navigasjon. Han hadde sin læretid i handelsflåten mellom 1886 og 1890, hvor han seilte med «Loch Torridon» av Glasgow i Ostindiafarten. Etter å ha fått navigatørsertifikat i november 1890 i Calcutta, mønstret han på «Avon» av London som var i tjeneste for Government Emigrant Service. Han var tre år i denne tjenesten og fikk styrmannsertifikat i 1892 og skipsførersertifikat i 1894. Deretter arbeidet han for selskapet Thos. Wilson, Sons & Co. Ltd. i Hull. I 1898 ble han utnevnt til underløytnant i Royal Naval Reserve.