Han er sønn av byggmester Sámal Mikkelsen og hustru Esther Hansen. Han gikk Føroya Læraraskúli og underviste deretter i folkeskolen i Klaksvík. I 1996 gikk han sammen med Sankey Joensen og sin bror Jóannes Mikkelsen om å kjøpe grossistfirmaet J.F. Kjølbro Heilsøla, hvor han ble daglig leder. Firmaet driver grossistvirksomhet og agentur i matvarer og har 12 ansatte. Mens Jákup Mikkelsen har skjøttet politiske verv, har hans hustru Ester Mikkelsen fungert som daglig leder.