Schirmer gikk først i lære hos faren, senere studerte han ved Den kongelige Tegneskole under billedhuggeren Julius Middelthun og var deretter ansatt hos stadskonduktør Georg Andreas Bull i 2 år. Han studerte videre ved Bauakademi i Berlin og ved École des Beaux-Arts i Paris.