Bille var bror til Eske Bille (1480–1552) som delvis rådet i Bergen. Begge ble fengslet en tid mens reformasjonen pågikk i tiden rundt 1537. En annen bror het Mogens Bille og var også riksråd, men døde i 1538.