Ларсен начал свою карьеру в молодёжной команде «Эсбьерга», где он выступал до 2005 года. После этого Филип переехал в «Рёгле», в котором он дебютировал в Аллсвенскане, втором шведском дивизионе. Уже после года игры за «Рёгле» Ларсен подписал контракт с клубом «Фрёлунда». В молодёжной команде «Фрёлунды» Филип становился победителем чемпионата Швеции до 20-и лет два года подряд (2007 и 2008). Кроме того, он периодически выступал во взрослой команде в Элитной серии. В сезоне 2007/08 Ларсен на правах аренды выступал за «Бурос», где в 24-х матчах набрал 10 очков. На драфте НХЛ 2008 года он был выбран в 5 раунде под общим 149-м номером клубом «Даллас Старз». Ларсен остался на два года во «Фрёлунде», где стал крепким игроком основы.