Faits : A. S.S._ et T.S._ sont propriétaires des parcelles n os 7'119, 8'743 et 9'450 de la commune de Collonge-Bellerive. D'une surface de respectivement 1'740, 91 et 350 m2, ces parcelles sont situées en zone 5 (zone résidentielle destinée aux villas). Une habitation à deux logements est érigée sur la parcelle n° 7'119, tandis que les deux autres sont libres de toute construction. On accède à ces biens-fonds par le chemin privé de la Vigneraie, formé des parcelles de dépendance nos 7'120 et 8'744 de ladite commune, chacune grevée d'une servitude de passage à véhicules. Une part de copropriété de la parcelle no 7'120 de 560 m2 (1/7ème) est rattachée au bien-fonds n° 7'119. Le chemin précité débouche sur celui des Usses, chemin vicinal formé des parcelles no 7'833 de la commune de Collonge-Bellerive et no 3'413 de celle de Corsier. Le chemin des Usses débouche sur le chemin du Port, soit sur la parcelle n° 4'778 de la commune de Corsier appartenant au domaine public communal, elle-même raccordée à la route d'Hermance. Le 27 février 2013, R._ SA a déposé pour le compte des époux S._ une demande définitive en autorisation de démolir l'habitation existante et de construire un ensemble de huit villas mitoyennes (label Minergie) avec garage souterrain et places de parc extérieures sur les parcelles nos 7'119, 8'743 et 9'450. L'indice d'utilisation du sol (IUS) s'élevait à 0,44, moyennant le report des droits à bâtir afférents aux parcelles nos 8'743, 9'45 0 et 7'120, sur celle n° 7'119 qui accueillera les nouvelles villas. B. Le Département de l'urbanisme (devenu depuis lors le Département de l'aménagement, du logement et de l'énergie; DALE) a recueilli différents préavis dans le cadre de la procédure visant à l'octroi de l'autorisation de construire. L'implantation des villas et d'une des places de parc extérieures a été modifiée pour tenir compte de certains préavis. Finalement, seule la Commune de Collonge-Bellerive a préavisé négativement le projet, estimant qu'il présentait une densité trop élevée et qu'il n'était pas compatible avec l'harmonie et l'aménagement du quartier. Le 3 septembre 2013, le DALE a délivré l'autorisation de construire requise, accordant une dérogation à l'indice d'utilisation du sol en application de l'art. 59 al. 4 de la loi genevoise sur les constructions et les installations diverses du 14 avril 1988 (LCI, RS/GE L 5 05). C. La Commune de Collonge-Bellerive a recouru auprès du Tribunal administratif de première instance du canton de Genève (TAPI) contre l'autorisation de construire précitée, tout comme B.A._ et A.A._, C._, D._, F.E._ et E.E._, G._, H._, I._, K.J._ et J.J._, L._, M._, N._, O._ et Q.P._ et P.P._ (ci-après: les voisins). Ces derniers sont propriétaires des parcelles n os 7'102 à 7'108, 7'112, 7'116, 7'117, 7'138, 7'165, 7'166, sises sur le territoire de la commune de Collonge-Bellerive, et n o 4'445 de la commune de Corsier, qui bordent le chemin de la Vigneraie, respectivement celui des Usses. Par jugement du 17 juin 2014, le TAPI a rejeté les deux recours précités. D. Par arrêt du 30 juin 2015, la Chambre administrative de la Cour de justice genevoise a rejeté les recours formé par la Commune et les voisins. Se fondant sur une inspection locale, la Cour de justice a considéré que l'accès au projet était suffisant d'un point de vue technique et juridique. De plus, le régime dérogatoire prévu par l'art. 59 al. 4 LCI permettait de porter le taux de densification à 0.44 pour le projet litigieux, lequel avait recueilli l'aval de la Commission cantonale d'architecture. E. Les voisins forment un recours en matière de droit public par lequel ils demandent l'annulation de l'arrêt cantonal et de l'autorisation de construire délivrée le 3 septembre 2013. Subsidiairement, ils demandent le renvoi de la cause à l'instance précédente pour nouvelle instruction et décision au sens des considérants. Ils requièrent l'effet suspensif, qui a été accordé par ordonnance du 30 septembre 2015. La Cour de justice a persisté dans les considérants et le dispositif de son arrêt. Le DALE a conclu au rejet du recours. R._ SA et les recourants ont déposé des observations. Le DALE s'est à nouveau déterminé, persistant dans ses conclusions. La Commune a renoncé à prendre part à la procédure.