Remove the senseless std::shared_ptr stuff

Signed-off-by: Thorben Hasenpusch <thorben.hasenpusch@gmail.com>