I 1921 arbeidet Larsen som frivillig assistent for bibliotekaren Ernestine Rose. Arbeidet skjedde på kveldstid og i helgene, og gikk ut på å hjelpe Rose med å sette sammen den første utstillingen av det som ble betegnet som , altså kunst laget av afrikansk-amerikanere, på New York Public Library (NYPL). Rose oppmuntret henne til å gå bibliotekskolen ved NYPL, og Larsen ble den første svarte kvinnen med avgangseksamen derfra. Bibliotekskolen ble drevet av Columbia University, og ble en av de første skolene der hvite og svarte studenter fikk felles undervisning.