Der Vater von Harry Chapin war der Sohn des Malers James Ormsbee Chapin, seine Mutter war Lehrerin. Er war direkter Nachfahre von Deacon Samuel Chapin, der 1638 einwanderte und zu den Gründern von Springfield (Massachusetts) gehörte. Er wuchs im Stadtteil Morningside Heights von Manhattan auf und studierte zunächst am Bard College, verließ es aber bald, um mit achtzehn Jahren eine Laufbahn als Schlagzeuger einzuschlagen; er nahm Unterricht bei Sanford A. Moeller. 1939/40 trat er bei der Weltausstellung in Flushing (New York City) mit Gene Krupa auf; er gehörte dann zu Glen Grays "Casa Loma Orchestra". 1943 wurde er zum Militärdienst eingezogen, den er teilweise in einer Band mit George Duvivier, George Koenig und Wild Bill Davison verbrachte.