过去,其祖籍主要有两说。一为河北省说。河北说中又有河北大城、河北高阳、河北河间三说。《中华民国陆海军大元帅张公雨亭神道碑》写道:“公讳作霖,字雨亭。其先为直隶人,清末迁奉天海城。”这通碑文是督军署参谋长臧式毅领衔,又有8位处长署名的,载于《张大元帅哀挽录》。文中明确地说“其先为直隶人”,即是河北人,主河北说。二为山东省说。《中华民国陆海军大元帅张公行状》中写道:“公讳作霖,字雨亭,奉天海城人,远祖居山东,族甚蕃,清道光初徙居海城。祖发业农,称素封。”“行状”是过去死者家属叙述死者世系、籍贯、事迹的纪念文体。该文称“远祖居山东”,主山东省说。从有关历史记载看,张作霖的祖籍是诸说并存。因多数主河北省说,张学良亦自称他的祖籍是河北大城,故张作霖的祖籍为河北大城。 据《大城县志》记载及当地老人记述,直奉大战期间,张作霖曾返乡认祖,但由于族中老人反对(一说认为其年轻时当过“胡子”——山贼,有辱门风;一说担心直系失败使吴佩孚迁怒于族人)而未能归宗,张作霖一直对此耿耿于怀。但据史学专家最新考证,张作霖的祖籍是山西省,其祖先迁至河北省大城县,再迁至当时的奉天省海城县辽河边的“小洼”一带定居。