Nacido en la capital isleña, tiene siete hermanos. Sus padres tenían allí una lechería y Derek ayudaba a ordeñar las vacas y repartir la leche en el pueblo. La familia de su madre llegó a las islas desde Escocia en 1833, tras la ocupación británica. Su padre emigró desde el Reino Unido como contratista hacia 1950. Desde pequeño tuvo que ayudar en el trabajo de sus padres, como así también en la siembra familiar, la recolección de turba utilizada como combustible y la esquila de ovejas. Rozee aún era joven cuando dejó las Malvinas y emigró a Inglaterra por sus propios medios para estudiar y buscar un futuro sin recibir ayuda de las autoridades coloniales.