Se le creía mucho tiempo que estaba de Francia y mientras estaba en Japón uno se refería incluso a él como un "Englishman"; sin embargo, la investigación reciente ha revelado que Rossier era suizo, nacido el 16 de julio de 1829 en Grandsivaz, un pequeño pueblo en el Cantón de Friburgo.