Arbo startet kunstutdannelsen med et år ved Helsteds Tegneskole i København 1851-1852. Etter det reiste han til Düsseldorf og studerte ved kunstakademiet der fra 1852. Fra 1853 til 1855 studerte han under Karl Ferdinand Sohn som var professor i figurmaling, og fra 1857–1858 under Emil Johannes Hünten som var slag- og dyremaler. Under Hünten var det særlig hestemalerier Arbo arbeidet med, og han utviklet seg til en utmerket skildrer av hester.