Devedjian nació en Fontainebleau, Seine-et-Marne. Era nieto del zoólogo armenio y burócrata otomano Karekin Deveciyan. Su padre nació en Sivas, Imperio Otomano y llegó a Francia después de escapar del Genocidio Armenio. Devedjian recibió su educación temprana en una escuela armenia en Sèvres. Continuó su educación en la Universidad Panthéon-Assas. En 1963, con diecisisete años, se unió al grupo de extrema derecha Occidente. En una entrevista de 2014, declaró que lamentaba su pertenencia a la organización en el pasado, y que "nunca habían tolerado ningún delito". Fue admitido en el Colegio de Abogados de París en 1970. Se convirtió en militante del movimiento gaullista en 1971 y participó en la fundación del partido Agrupación por la República (RPR) en 1976.