Tidlig i mars 2024 kom Amundsen under sterk kritikk for to Facebook-innlegg, der Amundsen blant annet skrev at «Islam består av en gjeng med psykopater» og om «radikale kvinnemennesker». Han fikk kritikk av sin egen partileder Sylvi Listhaug, som mente at en stortingspolitiker burde oppføre seg bedre. Innleggene resulterte i at en intern sak ble opprettet i Fremskrittspartiet mot Amundsen, som resulterte i at Amundsen trakk seg som leder av justiskomiteen 10. mars. 2024.