Gårdsnavnet Kvithammer kommer av en bergknaus ved det som i dag er Østre Kvithammer. Det eldste skriftlige belegget for gården er fra 1520.