Den 2. juni 1870 flyttet Furuseth til Oslo (dengang Christiana). Han arbeidet som kontormedarbeider og forsøkte å komme inn på en militær skole. Selv om han ikke kom inn på skolen, lærte han engelsk, tysk, nederlandsk og fransk, som ikke bare skaffet ham jobb, men skulle også bli svært nyttig for ham senere i livet.