Dieses Lied, dessen älteste Veröffentlichung aus dem Jahr 1791 stammt, wurde im Amerikanischen Bürgerkrieg zu einer populären Ballade der Armeeangehörigen der Nordstaaten ("Yankees"), die in etlichen unterschiedlichen Varianten und mit verschiedenen Strophen gesungen wurde. Eastman Johnson war nicht als Soldat an dem Krieg beteiligt, begleitete allerdings die Unionstruppen unter General McClellan und wurde 1862 Zeuge der Zweiten Schlacht am Bull Run bei Manassas, Virginia. In mehreren nachfolgenden Arbeiten beschäftigte er sich mit diesen Erfahrungen, insbesondere in dem Bild "A Ride for Liberty — The Fugitive Slaves" von 1862, auf dem eine schwarze Familie auf der Flucht in die Freiheit dargestellt ist. In dem Bild "The Girl I left behind me" ist die Verknüpfung allerdings nur durch den von ihm verliehenen Titel ersichtlich, Elizabeth Broun bringt allerdings die Frage auf, ob der im Hintergrund dargestellte Himmel nicht durch den Rauch und Qualm der Kanonen verdunkelt sein könnte.