Schirmer tok i 1824 svenneprøven som bokbinder i farens verksted. Mens han gikk i bokbinderlære begynte han med malerstudier på egen hånd, og fra 1826 dro han til kunstakademiet i Düsseldorf. Der ble han elev av Wilhelm von Schadow og Heinrich Kolbe. Under påvirkning av Carl Friedrich Lessing utdannet Schirmer seg til landskapsmaler.