Dostal se na prestižní střední školu Stuyvesant High School, ve věku 17 let musel kvůli finančním potížím jeho rodiny studium přerušit. V tomto období jeho života Sowell musel vykonávat řadu povolání jako například poslíčka pro Western Union nebo strojníka. Krátce na to narukoval do armády a aktivně se účastnil Korejské války.