Bille gikk først i seilmakerlære og livnærte seg i mange år som sjømann selv om han hadde et ønske om å bli marinemaler. På midten av 1850-tallet sluttet han å seile og gikk inn for å leve som kunstner. Han stilte ut første gang i 1854 og kort tid etter begynte han å motta undervisning av marinemaleren Carl Dahl.