Han var bror av fiolinisten og komponisten Ole Bull og arkitekten Georg Andreas Bull. Deres bestefar var Ole Bornemann Bull, apoteker og eier av Svaneapoteket i Bergen. Familien eide landstedet Valestrand på Osterøy med 15 husmannsplasser, en tidligere fogdegård, tidligere eid av Munkeliv kloster på Nordnes.