Phil Ochs vokste opp i en upolitisk familie fra middelklassen som barn av legen Jacob Ochs, og moren Gertrude Phin Ochs fra Skottland. Familien flyttet til Far Rockaway i Queens i New York City da Ochs var tenåring, og deretter til Perrysburg i Staten New York, hvor han påbegynte musikkutdannelse, da han var en ganske talentfull klarinettist. Senere flyttet familien til Columbus i Ohio.