Батько художника, Ян Юзеф Ґроттґер, був нешлюбним сином радника суду в Тарнові Гілярія Семяновського (Hilary Siemianowski). Після народження мав дівоче прізвище своєї матері — французької гувернантки панни Ґроттґер, яка приїхала зі Швейцарії. Семяновський дбав про освіту й виховання власного сина, навіть оплатив його навчання в Академії образотворчих мистецтв у Відні. Після досягнення повноліття Ян Юзеф Ґроттґер отримав від батька в державлення (оренду) один з його маєтків в Отине́вичах. Гілярій Семяновський перед смертю залишив синові спадок у розмірі 10000 золотих ринських готівкою. Ян Юзеф Ґроттґер брав участь у Листопадовому повстанні, був ротмістром 5-го кавалерійського полку «Варшавські діти».