Faits:
A. B._ est propriétaire de la parcelle 9416 (anciennement 7967 et 7968) de la commune de Collonge-Bellerive, à l'adresse 18 chemin de Botterel, Vésenaz.
Son voisin, A._ est propriétaire des parcelles 5683 et 6883 de la même commune, à l'adresse 7 chemin de Botterel. Le premier bien-fonds supporte sa villa et le second est séparé du premier par le chemin de Botterel qui le longe sur une septantaine de mètres. Un muret est construit en retrait du chemin, laissant à nu une bande de terre, aujourd'hui occupée par un trottoir construit en bordure de parcelle et objet du présent litige.
Le chemin de Botterel, qui prend naissance perpendiculairement à la route d'Hermance, forme un premier coude à angle droit puis se poursuit entre les parcelles de A._ et forme un second coude à angle droit. Après ce virage, il longe la parcelle 7978 voisine de celle de B._ pour venir buter sur la parcelle 9416 de ce dernier. Le chemin n'a pas d'autre issue.
Le chemin de la Réserve (parcelle 7646), propriété de la commune de Collonge-Bellerive, mène au bas de la parcelle 9416 en longeant le lac et la réserve de la Pointe de Bise après avoir traversé une bande étroite de la parcelle 7978, aboutissant au lac.
B. Lors d'un contrôle effectué sur place le 19 avril 2006, le Département cantonal des constructions et des technologies de l'information (ci-après: le Département cantonal) a constaté qu'une bordure en éléments de béton remplie de galets cimentés (trottoir en galets) était en cours de réalisation le long du pourtour de la parcelle 6883 et en bordure du chemin de Botterel.
Par décision du 8 mai 2006, le Département cantonal a notifié à A._ un ordre d'arrêt des travaux et lui a enjoint de déposer, dans un délai de trente jours, une demande d'autorisation de construire portant sur la bordure litigieuse. Cette décision n'a pas fait l'objet d'un recours. Le délai a, par la suite, été prolongé plusieurs fois et, en dernier lieu, jusqu'au 30 janvier 2008.
C. En parallèle, le 19 janvier 2007, le Département cantonal a délivré à A._ une autorisation en procédure accélérée pour lui permettre de remettre en état des bordurettes de sa parcelle 5683 au bord du chemin de Botterel. Celles-là, d'une hauteur de 25 cm, dont la construction était prévue juste avant le virage à angle droit du chemin de Botterel, devaient servir à la protection d'un mur arrondi édifié sur la parcelle de A._. Cet ouvrage était situé en face du trottoir de galets.
La commission cantonale de recours en matière de constructions, puis le Tribunal administratif (actuellement la Cour de justice du canton de Genève, Chambre administrative; ci-après: la Cour de justice), ont rejeté le recours de B._ contre l'autorisation précitée, ayant considéré que celle-ci était conforme aux prescriptions en matière de construction.
D. Le 21 janvier 2008, A._ a déposé une demande complémentaire d'autorisation de construire en procédure accélérée portant sur la création du trottoir recouvert de galets déjà construit sur la parcelle 6883, en face des bordurettes déjà autorisées.
Le trottoir, selon les plans visés ne varietur le 17 mars 2008, était d'une hauteur de 15 cm, d'une largeur de 99 cm et d'une longueur de 8 m. Il devait se situer en bordure du chemin, juste avant l'angle droit situé devant le n° 14 dudit chemin.
La police du feu a préavisé favorablement le projet, le 28 janvier 2008, à la condition que la voie d'accès des engins des services d'incendie et de secours soient conformes à la directive n° 7 du règlement d'application de la loi sur la prévention des sinistres, l'organisation et l'intervention des sapeurs-pompiers. Les 31 janvier et 8 février 2008, le domaine de l'aménagement du territoire et la commune de Collonge-Bellerive ont préavisé favorablement le projet. Le 1er mars 2008, l'Office cantonal de la mobilité a délivré un préavis positif avec la remarque suivante: "la bordurette projetée à l'angle du mur (parcelle 5683) doit avoir une hauteur de 15 cm".
Le 15 février 2008, B._ a déposé des observations auprès du Département cantonal en s'opposant à l'autorisation requise.
Par décision du 17 mars 2008, le Département cantonal a délivré l'autorisation de construire requise pour la réalisation du trottoir, incorporant le préavis du service du feu comme condition n° 2.
La commission cantonale de recours en matière de constructions a rejeté le recours de B._ contre la décision précitée le 23 octobre 2009. Les inconvénients allégués provenaient essentiellement du fait que B._ disposait d'un véhicule d'une taille imposante qui ne lui permettait pas de prendre en une fois le virage à la hauteur de la bordurette litigieuse. De tels inconvénients ne pouvaient être qualifiés de graves. En outre, tous les préavis recueillis par le Département cantonal étaient favorables et il n'avait pas été démontré que le chemin de la Réserve ne permettait pas aux véhicules d'urgence d'accéder à la villa.
Par arrêt du 15 février 2011 et après avoir procédé à un transport sur place, la Cour de justice a admis le recours de B._ et annulé la décision précitée ainsi que l'autorisation de construire du 17 mars 2008. La cour cantonale a considéré en substance que la décision attaquée était fondée sur une constatation inexacte des faits pertinents. Le chemin de la Réserve ne pouvait constituer une alternative d'accès à la propriété de B._. Le transport sur place avait permis d'établir que le franchissement du virage était particulièrement difficile. Partant, la construction, telle qu'autorisée, représentait par sa situation une gêne durable pour la circulation des véhicules et donc pour B._ qui devait pouvoir accéder à sa propriété.
E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt de la Cour de justice du 15 février 2011. Il se plaint pour l'essentiel d'une appréciation arbitraire des preuves, d'une application arbitraire du droit cantonal et d'une violation de la garantie de la propriété.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'intimé conclut au rejet du recours. Le recourant a répliqué et maintenu ses conclusions.

Considérant en droit:
1. Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a manifestement qualité pour recourir au sens de l'<ref-law> contre l'arrêt attaqué qui annule l'autorisation de construire qui lui a été délivrée.
2. Dans un premier grief, le recourant se plaint d'une appréciation arbitraire des preuves.
2.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus par l'<ref-law>. Selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires (art. 9 Cst.; pour une définition de l'arbitraire cf. <ref-ruling> consid. 3.1 p. 265 s.; <ref-ruling> consid. 3.1 p. 153) lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41).
2.2 Le recourant fait valoir que la Cour de justice s'est écartée sans motif des préavis, tous favorables, émis par les autorités concernées, lesquels démontreraient que le trottoir en galets litigieux est conforme à la législation en vigueur. Dans le cadre de la procédure connexe relative au rétablissement des bordurettes à l'angle de la parcelle 5683, les préavis étaient également favorables à l'édification projetée et la Cour de justice avait rejeté le recours de l'intimé. Dans le cas d'espèce, la cour cantonale aurait toutefois procédé à une appréciation arbitraire des divers éléments en substituant son avis à celui des autorités spécialisées et du Département cantonal.
Dans son arrêt, la Cour de justice a relevé que le préavis émis par l'office cantonal de la mobilité le 1er mars 2008 était certes favorable, mais pour autant que la bordurette à construire de l'autre côté du chemin, sur la parcelle 5683, ait une hauteur de 15 cm. Or, la bordurette en question a une hauteur de 25 cm. Par ailleurs, le préavis de la police du feu posait comme condition que les voies d'accès des engins des services d'incendie et de secours soient conformes à la directive n° 7 du règlement d'application de la loi sur la prévention des sinistres, l'organisation et l'intervention des sapeurs-pompiers, condition reprise dans l'autorisation de construire. Dans ses écritures, le Département cantonal avait toutefois indiqué, en contradiction avec l'autorisation qu'il avait délivrée, que la directive n° 7 ne s'appliquait pas à la voie d'accès à des villas, comme en l'espèce. De toute façon, la largeur du chemin est inférieure à la largeur minimale de 3 m prévue par la directive. Dans ces conditions, la Cour de justice pouvait, sans arbitraire, considérer que la procédure suivie par le Département cantonal pour délivrer l'autorisation litigieuse était entachée d'inexactitudes et d'incohérences et qu'elle n'avait par conséquent pas de raison de restreindre son pouvoir d'examen. Ayant au surplus effectué eux-mêmes un transport sur place, les juges cantonaux pouvaient dès lors substituer leur appréciation à celle du Département cantonal, sans que l'on puisse, pour cet unique motif, leur reprocher d'avoir procédé à une appréciation arbitraire des preuves.
Le recourant soutient que le trottoir en galets n'entrave aucunement le passage sur le chemin de Botterel, pas plus par ailleurs qu'il n'empêche les services d'urgence d'accéder à la propriété de l'intimé. Le transport sur place a toutefois permis d'établir que le franchissement du virage à angle droit par un véhicule 4x4 supposait presque inévitablement de monter avec la roue avant gauche du véhicule sur le trottoir litigieux, ce qui était possible pour un 4x4 mais non pour une voiture basse, telle une Mercedes. En plus des bordurettes déjà autorisées, trois poutrelles métalliques fixées contre le mur entourant la propriété du recourant à l'angle du chemin, en face du trottoir litigieux, entravaient encore davantage le passage de véhicules, même moins larges qu'un 4x4. A cela s'ajoute qu'il découle de l'expertise privée réalisée à la demande du recourant lui-même que le franchissement de ce virage est particulièrement difficile, sauf pour des conducteurs chevronnés ou de petits véhicules. Au vu de ces éléments, la cour cantonale n'est pas tombée dans l'arbitraire en retenant que le risque de toucher soit le trottoir, soit les bordurettes, ou encore les poutrelles, avec un véhicule était particulièrement élevé, danger d'autant plus grand pour des tiers et des visiteurs occasionnels et inévitable pour des véhicules d'urgence d'une certaine taille.
Mal fondé, le grief doit être rejeté et le Tribunal fédéral est par conséquent lié par les faits constatés dans l'arrêt attaqué, conformément à l'<ref-law>.
3. Le recourant reproche à la cour cantonale d'avoir procédé à une application arbitraire des art. 14 al. 1 et 121 de la loi cantonale genevoise du 14 avril 1988 sur les constructions et les installations diverses (LCI).
En vertu de l'art. 14 al. 1 LCI, le département peut refuser l'octroi d'une autorisation lorsqu'une construction ou une installation peut être la cause d'inconvénients graves pour les usagers, le voisinage ou le public (let. a) ou peut créer, par sa nature, sa situation ou le trafic que provoque sa destination ou son exploitation, un danger ou une gêne durable pour la circulation (let. e). L'art. 121 al. 3 let. b LCI prévoit qu'une construction doit être maintenue en tel état et utilisée de telle sorte qu'elle ne crée pas, par sa nature, sa situation ou le trafic que provoque sa destination ou son exploitation, un danger ou une gêne pour la circulation.
3.1 Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 3 p. 351 s.; <ref-ruling> consid de 1.4.2 p. 254 et les références). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. En outre, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (<ref-ruling> consid. 5.1 p. 17).
3.2 En l'espèce, la Cour de justice a constaté que le chemin de la Réserve ne pouvait pas constituer, pour l'intimé, une alternative d'accès à sa propriété. La commission cantonale de recours en matière de constructions avait par ailleurs omis de prendre en compte le changement de situation résultant de l'autorisation de construire délivrée pour l'autorisation des bordurettes sur la parcelle 5683. Le risque de toucher avec un véhicule le trottoir, les bordurettes ou les poutrelles était particulièrement élevé, surtout pour des visiteurs occasionnels et des véhicules d'urgence d'une certaine taille. Enfin, le trottoir ne permettait pas le cheminement piétonnier puisqu'il était composé de gros galets scellés et aucune utilité, sauf celle de border la parcelle du recourant, n'avait pu être établie. Sur la base de ces éléments, la cour cantonale est arrivée à la conclusion que la construction litigieuse représentait par sa situation une gêne durable pour la circulation des véhicules au sens des art. 14 al. 1 let. e et 121 al. 3 let. b LCI.
Le recourant estime qu'en annulant l'autorisation de construire délivrée par le Département cantonal, la Cour de justice aurait, de fait, concédé à l'intimé le droit de passage qu'il réclame et qui fait l'objet d'une procédure civile actuellement pendante devant le Tribunal fédéral. En indiquant que le franchissement du virage suppose presque inévitablement le passage sur le trottoir en galets, la décision attaquée aurait en effet délivré à l'intimé une autorisation de droit public à passer quotidiennement sur la parcelle du recourant. L'art. 14 LCI vise à prévenir la gêne durable ou les nuisances provoquées par un ouvrage pour la circulation ou le trafic. L'on peinerait à distinguer en quoi le trottoir querellé pourrait constituer une telle nuisance, dès lors qu'il est bâti sur la propriété exclusive du recourant, sans déborder sur le chemin de Botterel. Le trottoir ne limiterait en rien l'utilisation du chemin de Botterel et ne pourrait donc constituer une gêne.
Force est de relever que le recourant n'explique pas en quoi le raisonnement précité de la Cour de justice serait arbitraire. Il se contente en réalité d'opposer sa propre opinion à celle des juges cantonaux, sans jamais tenter de démontrer en quoi l'arrêt attaqué serait insoutenable, déraisonnable ou manifestement contraire au sens et au but des dispositions cantonales en cause. Ses critiques, de nature purement appellatoire, sont par conséquent irrecevables. Le Tribunal fédéral n'est dès lors pas tenu d'examiner d'office si, en l'occurrence, les art. 14 al. 1 et 121 LCI ont été correctement appliqués. Quoi qu'il en soit, l'application du droit cantonal par les juges cantonaux n'apparaît pas déraisonnable et doit être confirmée. Au surplus, le fait que le trottoir soit construit sur la parcelle du recourant, ce qui n'est pas contesté, ne suffit pas à démontrer qu'il ne constitue pas une gêne pour la circulation et il apparaît téméraire d'affirmer que le constat selon lequel le franchissement du virage suppose presque inévitablement le passage sur le trottoir litigieux reviendrait à octroyer un droit de passage en faveur de l'intimé.
4. Le recourant invoque enfin l'art. 26 Cst. Il fait valoir que les juges cantonaux auraient concédé à l'intimé le droit de passer avec ses véhicules à l'angle de sa parcelle, en violation évidente de la garantie de la propriété. Aucun intérêt public ne pourrait par ailleurs justifier l'annulation de l'autorisation sollicitée, puisque les exigences de sécurité, de salubrité et mobilités publiques seraient parfaitement respectées.
En l'occurrence, il ne ressort pas de l'arrêt attaqué que les juges cantonaux auraient octroyé à l'intimé le droit de passer avec ses véhicules sur le trottoir du recourant (cf. consid. 3.2 in fine ci-dessus). Ensuite, la garantie de la propriété n'est pas absolue, une restriction pouvant être justifiée par un intérêt public ou pour la protection d'un droit fondamental d'autrui (art. 36 al. 2 Cst.). Or, la cour cantonale a jugé que la construction litigieuse représentait par sa situation une gêne durable pour la circulation des véhicules au sens des art. 14 al. 1 let. e et 121 al. 3 let. b LCI et donc pour le recourant qui devait pouvoir accéder à sa propriété (art. 19 al. 1 LAT). Le danger de toucher le trottoir était en outre inévitable pour des véhicules d'urgence d'une taille certaine. Dans ces conditions, il est manifeste que l'annulation de l'autorisation de construire le trottoir en question est justifiée par un intérêt public prépondérant, à savoir celui de la sécurité, voire de la mobilité. Le présent grief doit donc être rejeté.
5. Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Les frais judiciaires sont mis à la charge du recourant qui succombe (<ref-law>). En vertu de l'<ref-law>, celui-ci versera à l'intimé une indemnité à titre de dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 2'000 fr. est allouée à l'intimé à titre de dépens, à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties, au Département des constructions et des technologies de l'information et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 13 juillet 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Mabillard