Роден е на 25 януари 1856 г. в гр. Амасия в Османската империя. Остава сирак на 8 годишна възраст. Първоначално посещава американско богословско училище в Османската империя, после завършва богословие в университета в швейцарския град Базел, след което продължава своята квалификация в Англия. През 1887 г. се завръща в Амасия, където служи като пастор в Арменската евангелска църква. При репресиите на правителството на султан Абдул Хамид ІІ срещу арменците попада в затвора. След като излиза на свобода, заминава за Базел. С подкрепата на протестантския мисионер и приятел на арменския народ д-р Йохан Лепсиус пастор Шахвеледян пътува из Швейцария, Германия и Австро-Унгария, където на събрания защитава арменската кауза. С помощта на Швейцарското евангелско дружество Агоп Шахвеледян пристига на 29 ноем. 1897 г. във Варна, за да се грижи за арменските бежанци, приети и подслонени от младата българска държава. В крайморския град пастор Шахвеледян работи заедно с пастор Абрахам Амирханянц , Киркор Кеворкян и пастор Йоханес Аветаранян (мюсюлманския духовник Мехмед Шукри, кръстен от пастор Амирханянц в Русия) .