American Federation of Labor
オルセン夫妻はサンフランシスコのミッション地区に居を構え、4人の娘（カーラ、ジュリー、キャシー、ローリー）を育てた。オルセン家は、様々な境遇に生きる人々が同じ価値観のもとに集まる場所となり、隠れ家ともなった。オルセンは家事や育児に加え、相変わらず厳しい労働条件のもとで仕事を続け、しかも政治・社会活動にも参加していたため、執筆活動に割く時間がほとんどなく、手帳をつける程度であった。オルセンが「毎日の仕事」と呼ぶ地域活動や教育活動から、やがてサンフランシスコ初の保護者会運営の保育園が誕生した。また、質の高い保育を実現するために尽力し、PTAで指導的な役割を担うようになった。第二次大戦中は産業別組合会議 (CIO)（戦後、アメリカ労働総同盟 (AFL) と合併し、アメリカ労働総同盟・産業別組合会議 (AFL-CIO) を結成）のカリフォルニア州CIO戦争救済基金の代表およびCIO女性支援団体の会長を務めた。