亲叫艾迪丝·阿奈特（Edith Arnett，1925年8月13日—1982年3月29日）。他有一个4岁时就夭折了的妹妹朱迪（Judy，1947—1951），还有一个弟弟吉米·雷·弗林特（，1948年6月20日生）。老拉里曾于二战期间加入美国陆军、远赴欧洲战场，所以弗林特完全是由他的母亲和外祖母养大的。弗林特出身穷困，而且宣称大萧条时期的马戈芬是全国最穷困的一个县。1951年，他的妹妹朱迪因身患白血病而去世，这还导致他的父母在一年后离婚，拉里与母亲去了印第安纳州，而他的弟弟吉米则与外祖母一起待在马戈芬县