Larsen lærte seg å spille et diatonisk, 2-raders trekkspill allerede i Finland. Han ble sjømann, som så mange andre finner på den tiden, og flyttet til USA allerede før første verdenskrig. Her fikk han både spillejobber og en stilling som trekkspillærer i New York.