פאלמר נולד בסן חוזה שבמדינת קליפורניה. במהלך רעידת האדמה הגדולה בשנת 1906 שאירעה חודש לאחר לידתו של פאלמר, נהרס בית הוריו. לאחר רעידת האדמה פתחה אימו, הרייט, מלון ומסעדה, וסיפקה מזון לנפגעי רעידת האדמה.