Swirbul ble født på Manhattan. Familien flyttet til Long Island da han var barn, han vokste opp i Sag Harbor og gikk på Pierson High School. Han studerte ved Cornell University frem til 1917, da han forlot universitetet for å melde seg til militærtjeneste ved U.S. Marine Corps.