Filip hadde også rundt 18 barn utenfor ekteskap, blant annet Antoine, bastarden av Burgund, ved 24 dokumenterte elskerinner. En annen, Filip av Burgund (1464–1524), biskop av Utrecht, som også var en dyktig amatørkunstner og fikk en biografi i 1529.