У Джона Келли-младшего было три сестры. Маргарет (род. 1925), Грейс (род. 1929) и Элизабет Энн (род. 1933). Грейс Келли стала актрисой и в 1955 году получила премию «Оскар» за лучшую женскую роль. В 1956 году она вышла замуж за князя Монако Ренье III и стала княгиней. Семейство Келли жило в роскошном особняке в Филадельфии.