Władysław Tarnowski var sønn av Walerian Tarnowski og hans hustru Ernestyna Tarnowska. Hans foreldre tilhørte forskjellige grener av samme høyadelige slekt. Moren døde da gutten var fire år gammel, og Tarnowskis nevrotiske trekk har blitt ansett å stamme fra dette tidlige tapet. Hans valg av pseudonymet Ernest Buława skal være forbundet med minnet om moren Ernestyna.