John Kelly ist seit 1976 mit der aus Teaneck, New Jersey, stammenden Karen Kelly, geborene Hernest, verheiratet; gemeinsam bekamen sie drei Kinder, die Söhne John und Robert und Tochter Kathleen. Kellys jüngerer Sohn, Robert, damals als Oberleutnant ebenfalls in Diensten des Marine Corps, wurde 2010 im Alter von 29 Jahren während einer Patrouillenfahrt in der afghanischen Stadt Sangin von einer Landmine getötet. John F. Kelly ist damit der ranghöchste Offizier der US-Streitkräfte, der einen Sohn oder eine Tochter im Afghanistan- oder im Irakkrieg verlor. Auch sein älterer Sohn dient als Offizier im Marine Corps.