Faits: A. B._ est propriétaire de la parcelle 9416 (anciennement 7967 et 7968) de la commune de Collonge-Bellerive, à l'adresse 18 chemin de Botterel, Vésenaz. Son voisin, A._ est propriétaire des parcelles 5683 et 6883 de la même commune, à l'adresse 7 chemin de Botterel. Le premier bien-fonds supporte sa villa et le second est séparé du premier par le chemin de Botterel qui le longe sur une septantaine de mètres. Un muret est construit en retrait du chemin, laissant à nu une bande de terre, aujourd'hui occupée par un trottoir construit en bordure de parcelle et objet du présent litige. Le chemin de Botterel, qui prend naissance perpendiculairement à la route d'Hermance, forme un premier coude à angle droit puis se poursuit entre les parcelles de A._ et forme un second coude à angle droit. Après ce virage, il longe la parcelle 7978 voisine de celle de B._ pour venir buter sur la parcelle 9416 de ce dernier. Le chemin n'a pas d'autre issue. Le chemin de la Réserve (parcelle 7646), propriété de la commune de Collonge-Bellerive, mène au bas de la parcelle 9416 en longeant le lac et la réserve de la Pointe de Bise après avoir traversé une bande étroite de la parcelle 7978, aboutissant au lac. B. Lors d'un contrôle effectué sur place le 19 avril 2006, le Département cantonal des constructions et des technologies de l'information (ci-après: le Département cantonal) a constaté qu'une bordure en éléments de béton remplie de galets cimentés (trottoir en galets) était en cours de réalisation le long du pourtour de la parcelle 6883 et en bordure du chemin de Botterel. Par décision du 8 mai 2006, le Département cantonal a notifié à A._ un ordre d'arrêt des travaux et lui a enjoint de déposer, dans un délai de trente jours, une demande d'autorisation de construire portant sur la bordure litigieuse. Cette décision n'a pas fait l'objet d'un recours. Le délai a, par la suite, été prolongé plusieurs fois et, en dernier lieu, jusqu'au 30 janvier 2008. C. En parallèle, le 19 janvier 2007, le Département cantonal a délivré à A._ une autorisation en procédure accélérée pour lui permettre de remettre en état des bordurettes de sa parcelle 5683 au bord du chemin de Botterel. Celles-là, d'une hauteur de 25 cm, dont la construction était prévue juste avant le virage à angle droit du chemin de Botterel, devaient servir à la protection d'un mur arrondi édifié sur la parcelle de A._. Cet ouvrage était situé en face du trottoir de galets. La commission cantonale de recours en matière de constructions, puis le Tribunal administratif (actuellement la Cour de justice du canton de Genève, Chambre administrative; ci-après: la Cour de justice), ont rejeté le recours de B._ contre l'autorisation précitée, ayant considéré que celle-ci était conforme aux prescriptions en matière de construction. D. Le 21 janvier 2008, A._ a déposé une demande complémentaire d'autorisation de construire en procédure accélérée portant sur la création du trottoir recouvert de galets déjà construit sur la parcelle 6883, en face des bordurettes déjà autorisées. Le trottoir, selon les plans visés ne varietur le 17 mars 2008, était d'une hauteur de 15 cm, d'une largeur de 99 cm et d'une longueur de 8 m. Il devait se situer en bordure du chemin, juste avant l'angle droit situé devant le n° 14 dudit chemin. La police du feu a préavisé favorablement le projet, le 28 janvier 2008, à la condition que la voie d'accès des engins des services d'incendie et de secours soient conformes à la directive n° 7 du règlement d'application de la loi sur la prévention des sinistres, l'organisation et l'intervention des sapeurs-pompiers. Les 31 janvier et 8 février 2008, le domaine de l'aménagement du territoire et la commune de Collonge-Bellerive ont préavisé favorablement le projet. Le 1er mars 2008, l'Office cantonal de la mobilité a délivré un préavis positif avec la remarque suivante: "la bordurette projetée à l'angle du mur (parcelle 5683) doit avoir une hauteur de 15 cm". Le 15 février 2008, B._ a déposé des observations auprès du Département cantonal en s'opposant à l'autorisation requise. Par décision du 17 mars 2008, le Département cantonal a délivré l'autorisation de construire requise pour la réalisation du trottoir, incorporant le préavis du service du feu comme condition n° 2. La commission cantonale de recours en matière de constructions a rejeté le recours de B._ contre la décision précitée le 23 octobre 2009. Les inconvénients allégués provenaient essentiellement du fait que B._ disposait d'un véhicule d'une taille imposante qui ne lui permettait pas de prendre en une fois le virage à la hauteur de la bordurette litigieuse. De tels inconvénients ne pouvaient être qualifiés de graves. En outre, tous les préavis recueillis par le Département cantonal étaient favorables et il n'avait pas été démontré que le chemin de la Réserve ne permettait pas aux véhicules d'urgence d'accéder à la villa. Par arrêt du 15 février 2011 et après avoir procédé à un transport sur place, la Cour de justice a admis le recours de B._ et annulé la décision précitée ainsi que l'autorisation de construire du 17 mars 2008. La cour cantonale a considéré en substance que la décision attaquée était fondée sur une constatation inexacte des faits pertinents. Le chemin de la Réserve ne pouvait constituer une alternative d'accès à la propriété de B._. Le transport sur place avait permis d'établir que le franchissement du virage était particulièrement difficile. Partant, la construction, telle qu'autorisée, représentait par sa situation une gêne durable pour la circulation des véhicules et donc pour B._ qui devait pouvoir accéder à sa propriété. E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Cour de justice du 15 février 2011. Il se plaint pour l'essentiel d'une appréciation arbitraire des preuves, d'une application arbitraire du droit cantonal et d'une violation de la garantie de la propriété. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'intimé conclut au rejet du recours. Le recourant a répliqué et maintenu ses conclusions.