Etter endt utdannelse og seks års læretid gjorde han det godt som juvelér i Kristiana. Han emigrerte til USA i 1869, etter at foreldrene og en av brødrene hans hadde emigrert dit tre år i forveien. Østby drog til Providence på Rhode Island og slo seg ned her. Han arbeidet blant annet for firmaet Hunt & Owen, men flyttet senere over til daværende Arnold & Webster. Hos sistnevnte var han i ni år leder for design og gravering. Han gikk også i kompaniskap med Nathan Barton, og dannet sammen med ham firmaet Østby & Barton – et firma hvor en rekke skandinaver ble ansatt. Firmaet ble etterhvert verdens største produsent av gullringer, og firmaet måtte etter hvert flytte til større lokaler på grunn av plassmangel.