Pohl wurde 1919 in Brooklyn, NYC, geboren. Schon in jungen Jahren musste er mehrmals umziehen. Sein Vater arbeitete an verschiedenen Stellen, Pohl lebte daher in Texas, Kalifornien, New Mexico und in der Nähe des Panamakanals. Als Pohl etwa sieben Jahre alt war, zog die Familie wieder nach Brooklyn. Er besuchte dort die gut angesehene Brooklyn Technical High School, musste aber während der Weltwirtschaftskrise mit vierzehn Jahren die Schule abbrechen um arbeiten zu gehen. Noch während seiner Teenagerzeit schloss er eine lebenslange Freundschaft mit Isaac Asimov, der wie er der New Yorker Science-Fiction-Fangruppe der Futurians angehörte.