生于英国殖民地时期的纽约省奥尔巴尼。她的父亲菲力·斯凯勒出自当地的名门望族，是美国独立战争将领；母亲凯瑟琳·范·伦塞勒·斯凯勒（）的家族也是纽约的豪门。斯凯勒夫妇共育有15个子女，其中7人早夭。伊丽莎白是他们的次女，她的姐妹中包括安杰莉卡和等人。和都是荷兰裔，信奉荷兰归正会。伊丽莎白也是这一教会的虔诚信徒。斯凯勒家境富裕，家中雇有27位奴隶做工。伊丽莎白自幼和这些奴隶一起生活，她和汉密尔顿日后都公开反对奴隶制，但也有线索暗示两人在婚后有一至两个家奴。伊丽莎白童年时像男孩一样活泼好动，对读书的兴趣也不高。