Larsen fikk sin bibliotekarlisens i 1923, og det første året som bibliotekar arbeidet hun ved filialen ved Seward Park i bydelen Lower East Side. Dette var en filial med først og fremst jødiske besøkende og ansatte, og Larsens overordnede Alice Keats O'Connor, en hvit kvinne, var like støttende som Ernestine Rose hadde vært. Både Rose, O'Connor og en annen leder ved Seward Park-filialen sluttet opp om Larsen og sørget for god integrering blant de ansatte ved de ulike filialene. Senere fikk Larsen overflytting til filialen i Harlem, fordi hun ønsket å være nær Harlems pulserende kulturliv.