一家人搬到了加利福尼亚州，于1914年在阿蒂西亚（如今的喜瑞都）的一个小农场定居。塞尔玛·瑞安的高中纪念册页面上写了个叫“巴迪”（，有“哥们儿”、“好友”之意）的绰号，而且写着她的志向就是经营一间旅舍。这段时间里，塞尔玛在家里的农场工作，并在当地一家银行看门和记账。1924年，她的母亲因癌症去世。当时还只有12岁的帕特为父亲及两个哥哥小威廉（，1910至1997年）和托马斯（，1911至1992年）承担了所有的家务，她的父亲于1929年因硅肺病去世。此外帕特的母亲之前还曾结过一次婚，所以帕特还有一位同母