Faits : A. Par jugement du 6 août 2014, le Tribunal de première instance du canton de Genève a prononcé le divorce de A.A._ (1947) et de B.A._ (1953). Il a notamment ordonné le partage par moitié des avoirs de prévoyance professionnelle accumulés pendant le mariage par l'ex-épouse, ordonné le transfert du dossier à la Chambre des assurances sociales de la Cour de justice pour détermination du montant à partager (ch. 3), condamné l'ex-épouse à verser à son ex-époux la somme de 52'016 fr. 20 (ch. 4), mis les frais judiciaires, arrêtés à 12'100 fr., à la charge des parties à raison d'une moitié chacune, compensé ces frais avec les avances fournies, condamné l'ex-époux à rembourser à l'ex-épouse 4'800 fr. à ce titre (ch. 5), et dit qu'il n'était pas alloué de dépens (ch. 6). L'ex-épouse a fait appel de ce jugement par acte déposé au greffe de la Chambre civile de la Cour de justice du canton de Genève (ci-après: la Cour de justice) le 17 septembre 2014. Elle a conclu au refus du partage des avoirs de prévoyance professionnelle, au déboutement de son ex-époux de ses conclusions en paiement de 20'155 fr. 85 au titre de la liquidation du régime matrimonial, à la condamnation de celui-ci à lui payer 108'000 fr. à titre d'indemnité équitable au sens de l'art. 165 CC, 203'517 fr. au titre de la liquidation de la société simple ayant existé entre les parties entre 1984 et le jour de leur mariage, 118'000 fr. ou subsidiairement 94'500 fr. au titre de remboursement d'emprunts qu'elle a contractés pour son ex-époux, 15'999 fr. au titre de fermage de la parcelle n° xxxx pour la période du 1er janvier 2006 au 31 décembre 2008, le tout sous imputation des 52'016 fr. alloués par le premier juge. Statuant le 27 mars 2015, la Cour de justice a annulé le chiffre 3 du jugement entrepris et réformé celui-ci en ce sens qu'il n'y avait pas lieu de partager les avoirs de prévoyance professionnelle accumulés par les époux durant le mariage. L'appel a été rejeté pour le surplus. Les frais judiciaires d'appel, arrêtés à 10'000 fr., ont été mis pour moitié à la charge de chacune des parties, ces frais étant compensés avec l'avance de frais du même montant versée par l'ex-épouse, A.A._ étant pour le surplus condamné à verser à B.A._ la somme de 5'000 fr. B. Par mémoire du 12 mai 2015, A.A._ interjette un recours en matière civile au Tribunal fédéral. En substance, il sollicite principalement l'annulation de l'arrêt entrepris et sa réforme en ce sens que l'appel est irrecevable, car tardif. Subsidiairement, il demande le renvoi de la cause à l'autorité cantonale pour nouvelle décision au sujet des frais de la procédure cantonale. Plus subsidiairement, il conclut à l'annulation de l'arrêt entrepris et à sa réforme, en ce sens que le partage des avoirs de prévoyance professionnelle accumulés durant le mariage par B.A._ doit être ordonné, que le dossier est transmis à la Chambre des assurances sociales de la Cour de justice pour détermination du montant à transférer, et que les frais judiciaires d'appel sont mis pour 3/4 à la charge de B.A._ et pour 1/4 à la charge de A.A._. Invitée à se déterminer, l'intimée a sollicité le rejet du recours. La Cour de justice a en substance conclu au rejet des conclusions principales du recours, se référant aux considérants de son arrêt concernant les conclusions subsidiaires.