Georg Robert Schirmer ble født den 25. desember 1845 og var eldst av tre brødre, to søstre og ei pleiesøster. Mora Lisbet Sjønnesdatter var fra Berger i Sør-Odal, og faren Bernhard Schirmer kom til Norge fra Tyskland som 19-åring. Bernhard tjente hos Andreas Grüning som eide jernverket Odals Verk i Sør-Odal. Familien bodde på plassen Fulusagen som hørte til jernverket.