Nachdem Yorke zwischen 1810 und 1813 seine schulische Ausbildung an der traditionsreichen, elitären Harrow School absolviert hatte, trat er im Februar 1813 in die Royal Navy ein und wurde nach einer zweijährigen Ausbildung im Mai 1815 zum Midshipman auf dem Flaggschiff des Kronprinzen im Marinestützpunkt Spithead ernannt. Anschließend versah er vorübergehend Dienst auf dem Linienschiff "HMS Leviathan" und danach auf dem Linienschiff "HMS Queen Charlotte", mit dem er unter dem Kommando von Admiral Edward Pellew am 27. August 1816 an der Bombardierung Algiers teilnahm.