En svakhet med longitudinelle studier er at utvalget kan ha begrenset sammenlignbarhet om det for eksempel i utgangspunktet var forskjell mellom observasjonsenhetene som ble utsatt for en påvirkning og de som ikke ble det. I noen tilfelle kan også påvirkningen som observasjonsenheter blir utsatt for smitte over på de som ikke ble utsatt direkte for påvirkningen noe som gjør tallene mindre sammenlignbare. Noen ganger kan man også få systematisk bortfall av observasjonsenheter, for eksempel i at det skal testes et nytt produkt og mange ikke er fornøyde med det og slutter å bruker det. Man vil da miste data fra dem som ikke var fornøyde, mens de som er mer fornøyde vil bli overrepresentert blant de som fullfører studiet. Videre kan det være et problem at selve målingen kan ha en effekt på observasjonsenhetene, for eksempel kan individer føle seg mer fornøyde fordi forskere spør dem alle mulig spørsmål om hvordan de har det og dermed får økt trivsel fordi de opplever å bli sett. Dette kalles for Hawthorneeffekten.