Hallfreds far Ottar utvandret fra Hålogaland under Håkon den godes tid til Island. I henhold til viste Hallfred tidlig anlegg for skaldekunsten, men skaffet seg allerede i ungdommen, ikke ulikt Gunnlaug Ormstunge, bitre fiender for sitt heftige lynne og bitende ord.