Al Jardine var den yngste av de to barna til Virginia og Donald Jardine. De første leveåra hans bodde familien i Lima i Ohio, og så flytta de til Rochester i delstaten New York, der faren arbeida for Eastman Kodak og underviste ved Rochester Institute of Technology.