Prins Oscar af Swerige har lemnat England.