Oskars Vater war Georg Joachim Göschen (1791–1855), sein Großvater der bekannte Leipziger Verleger Georg Joachim Göschen (1752–1828). Das ursprüngliche Stammhaus der Familie war in Göschenen an der Reuss, das im Sempacher Kriege verlassen wurde. Auf die Leipziger geht auch die Londoner Bankfirma "Frühling und Goschen" zurück, aus der Finanzminister wie Viscount George Goschen (1831–1907) und Diplomaten wie Sir William Edward Goschen (1847–1924) hervorgingen. Oskars Mutter war Philippine von Kaiserstein (1789–1855) aus der Familie der Freiherren von Kaiserstein, die Anfang des 19. Jahrhunderts in Kärnten die Herrschaften Tentschach, Kleinreideben, Steuerberg und ein einträgliches Wiener Freihaus besaß.