Alf Larsen ble født på Hudø rett vest for øya Tjøme i Vestfold. Han gikk på Amtsskolen i Nordby, nå Skiringssal folkehøyskole i Sandefjord, skoleåret 1902 til 1903. Deretter reiste han til Danmark, der han fra november 1903 til mars 1904 fulgte Vinterskolen på Grundtvigs højskole i Lyngby nord for København. Fra januar 1908 til september 1909 var Larsen elev ved St. Andreas-kollegiet i Charlottenlund, også det nord for København.