Отец Принс, Томас Гарднер (), работал китобоем в Нантакете, но умер от туберкулеза, когда Принс было месяца три. Её мать, имя которой неизвестно, была вдовой два раза и всего вышла замуж четыре раза. Поскольку у неё было много детей, она зависела от финансовой помощи супругов и не могла жить одна. Принс писала в своей книге, что после смерти второго мужа матери её мать была не в состоянии заниматься воспитанием детей, поскольку страдала от депрессии и психической болезни. Одним из отчимов Принс был Мони Вос (), второй супруг матери Принс. Отношения между Принс и отчимом были тяжёлыми, поскольку Вос часто бил Принс, её братьев и сестёр; однако Принс ценила его мужество и храбрость, и описала его положительным образом в своей книге. Вос убежал от рабства перед тем, как корабль, привёзший его из Африки в Америку, доплыл до берега. Он прожил много лет в Массачусетсе, работая моряком и умер в плену в Англо-американской войне, когда вражеская сторона захватила его.