Seksuell aktivitet kan også være påvirket av fysiske faktorer. Disse vil inkludere bruk av rusmidler, som alkohol, nikotin, narkotika, sentralstimulerende midler, antihypertensiva, antihistaminer, og noen psykofarmaka. For kvinner kan nesten alle fysiologiske endringer som påvirker det reproduktive systemet - premenstruelt syndrom, graviditet, postpartum, menopause - ha en negativ effekt på libido. Skader i ryggen kan også påvirke seksuell aktivitet, det samme gjelder problemer med en forstørret prostata, problemer med blodtilførsel, nerveskader (som ved ryggmargsskader). Sykdom, for eksempel diabetisk nevropati, multippel sklerose, tumorer og (sjelden) tertiær syfilis, kan også ha innvirkning på seksuell aktivitet. Det samme gjelder svikt i ulike organsystemer (som hjerte og lunger), endokrine sykdommer i skjoldbruskkjertelen, hypofysen eller binyrene, hormonelle mangler (lavt testosteron, østrogen eller androgener) og noen medfødte defekter.