G.O. Ulleberg kom fra Drammen til Arendal i 1884, hvor han drev bypost i en kort periode. I Arendal hadde han arbeid som kontorsjef hos byens største rederi, Brødrene Herlofson. Han startet opp bypost i byen, og de første bypostmerkene kom 9. november 1885.