A Technology-Driven Intervention to Improve Identification and Management of Chronic Kidney Disease in Primary Care
Phase: NA
Conditions: Chronic Kidney Diseases, Hypertension, Diabetes
Sponsor: HealthPartners Institute

A Technology‐Driven Intervention to Improve Identification and Management of 
Chronic Kidney Disease in Primary Care 
Short Title: CKD Wizard 
 
National Clinical Trial (NCT) Identified Number:  NCT03890588 
 
Principal Investigator: Dr. JoAnn Sperl‐Hillen 
 
Funded by: National Institute of Diabetes and Digestive and Kidney Diseases  
 
 
September 9, 2022

  
 
 
ii 
Table of Contents 
STATEMENT OF COMPLIANCE ............................................................................................................................. 1 
1 
PROTOCOL SUMMARY ............................................................................................................................... 2 
1.1 
Synopsis ................................................................................................................................................ 2 
1.2 
Schema ................................................................................................................................................. 3 
1.3 
Schedule of Activities (SoA) ............................................................................................................... 4 
2 
INTRODUCTION ............................................................................................................................................ 4 
2.1 
Study Rationale .................................................................................................................................... 4 
2.2 
Background ........................................................................................................................................... 5 
2.3 
Risk/Benefit Assessment .................................................................................................................. 10 
2.3.1 
Known Potential Risks AND Their Assessment ........................................................ 10 
2.3.2 
Known Potential Benefits AND THEIR ASSESSMENT ........................................... 11 
3 
OBJECTIVES AND ENDPOINTS .............................................................................................................. 11 
4 
STUDY DESIGN ........................................................................................................................................... 12 
4.1 
Overall Design .................................................................................................................................... 12 
4.2 
Scientific Rationale for Study Design .............................................................................................. 13 
4.3 
Justification for Dose ......................................................................................................................... 14 
4.4 
End of Study Definition ..................................................................................................................... 14 
5 
STUDY POPULATION ................................................................................................................................ 14 
5.1 
Inclusion Criteria ................................................................................................................................ 14 
5.2 
Exclusion Criteria ............................................................................................................................... 16 
5.3 
Lifestyle Considerations .................................................................................................................... 16 
5.4 
Screen Failures .................................................................................................................................. 16 
5.5 
Strategies for Recruitment and Retention ...................................................................................... 17 
6 
STUDY INTERVENTION ............................................................................................................................ 17 
6.1 
Study Intervention(s) Administration ............................................................................................... 17 
6.1.1 
Study Intervention Description ..................................................................................... 17 
6.1.2 
Dosing and Administration ............................................................................................ 19 
6.2 
Preparation/Handling/Storage/Accountability ................................................................................ 19 
6.2.1 
Acquisition and accountability ...................................................................................... 19 
6.2.2 
Formulation, Appearance, Packaging, and Labeling ................................................ 19 
6.2.3 
Product Storage and Stability ....................................................................................... 19 
6.2.4 
Preparation ...................................................................................................................... 20 
6.3 
Measures to Minimize Bias: Randomization and Blinding ........................................................... 20 
6.4 
Study Intervention Compliance ........................................................................................................ 20 
6.5 
Concomitant Therapy ........................................................................................................................ 20 
6.5.1 
Rescue Medicine ............................................................................................................ 20 
7 
STUDY INTERVENTION DISCONTINUATION AND PARTICIPANT 
DISCONTINUATION/WITHDRAWAL .................................................................................................................... 21 
7.1 
Discontinuation of Study Intervention ............................................................................................. 21 
7.2 
Participant Discontinuation/Withdrawal from the Study ............................................................... 21 
7.3 
Lost to Follow-Up ............................................................................................................................... 21 
8 
STUDY ASSESSMENTS AND PROCEDURES ...................................................................................... 21 
8.1 
Efficacy Assessments ....................................................................................................................... 21 
8.2 
Safety and Other Assessments ....................................................................................................... 21 
8.3 
Adverse Events and Serious Adverse Events ............................................................................... 22 
8.3.1 
Definition of Adverse Events (AE) ............................................................................... 22 

  
 
 
iii 
8.3.2 
Definition of Serious Adverse Events (SAE) .............................................................. 22 
8.3.3 
Classification of an Adverse Event .............................................................................. 22 
8.3.4 
Time Period and Frequency for Event Assessment and Follow-Up ....................... 23 
8.3.5 
Adverse Event Reporting .............................................................................................. 24 
8.3.6 
Serious Adverse Event Reporting ............................................................................... 24 
8.3.7 
Reporting Events to Participants ................................................................................. 24 
8.3.8 
Events of Special Interest ............................................................................................. 24 
8.3.9 
Reporting of Pregnancy ................................................................................................ 24 
8.4 
Unanticipated Problems .................................................................................................................... 24 
8.4.1 
Definition of Unanticipated Problems (UP) ................................................................. 24 
8.4.2 
Unanticipated Problem Reporting ................................................................................ 25 
8.4.3 
Reporting Unanticipated Problems to Participants ................................................... 25 
9 
STATISTICAL CONSIDERATIONS .......................................................................................................... 25 
9.1 
Statistical Hypotheses ....................................................................................................................... 25 
9.2 
Sample Size Determination .............................................................................................................. 26 
9.3 
Populations for Analyses .................................................................................................................. 27 
9.4 
Statistical Analyses ............................................................................................................................ 28 
9.4.1 
General Approach .......................................................................................................... 28 
9.4.2 
Analysis of the Primary Efficacy Endpoint(s) ............................................................. 28 
9.4.3 
Analysis of the Secondary Endpoint(s) ....................................................................... 29 
9.4.4 
Safety Analyses .............................................................................................................. 29 
9.4.5 
Baseline Descriptive Statistics ..................................................................................... 29 
9.4.6 
Planned Interim Analyses ............................................................................................. 29 
9.4.7 
Sub-Group Analyses ..................................................................................................... 29 
9.4.8 
Tabulation of Individual participant Data .................................................................... 30 
9.4.9 
Exploratory Analyses ..................................................................................................... 30 
10 
SUPPORTING DOCUMENTATION AND OPERATIONAL CONSIDERATIONS .............................. 30 
10.1 
Regulatory, Ethical, and Study Oversight Considerations ........................................................... 30 
10.1.1 
Informed Consent Process ........................................................................................... 30 
10.1.2 
Study Discontinuation and Closure ............................................................................. 31 
10.1.3 
Confidentiality and Privacy ........................................................................................... 31 
10.1.4 
Future Use of Stored Specimens and Data ............................................................... 33 
10.1.5 
Key Roles and Study Governance .............................................................................. 33 
10.1.6 
Safety Oversight ............................................................................................................. 34 
10.1.7 
Clinical Monitoring .......................................................................................................... 35 
10.1.8 
Quality Assurance and Quality Control ....................................................................... 35 
10.1.9 
Data Handling and Record Keeping ............................................................................ 35 
10.1.10 
Protocol Deviations ........................................................................................................ 37 
10.1.11 
Publication and Data Sharing Policy ........................................................................... 37 
10.1.12 
Conflict of Interest Policy .............................................................................................. 37 
10.2 
Additional Considerations ................................................................................................................. 38 
10.3 
Abbreviations ...................................................................................................................................... 39 
11 
REFERENCES ............................................................................................................................................. 41 
 

 
 
 
1 
STATEMENT OF COMPLIANCE 
The trial will be carried out in accordance with International Conference on Harmonisation Good Clinical 
Practice (ICH GCP), United States (US) Code of Federal Regulations (CFR) applicable to clinical studies (45 
CFR Part 46, 21 CFR Part 50, 21 CFR Part 56, 21 CFR Part 312, and/or 21 CFR Part 812), and the National 
Institute of Diabetes and Digestive and Kidney Disease, National Institutes of Health Research Terms and 
Conditions of Award. 
 
National Institutes of Health (NIH)‐funded investigators and clinical trial site staff who are responsible 
for the conduct, management, or oversight of NIH‐funded clinical trials have completed Human Subjects 
Protection and ICH GCP Training. 
 
The study protocol, informed consent form(s), recruitment materials, and all participant materials will 
be submitted to the Institutional Review Board (IRB) for review and approval. Approval of the protocol, 
and the consent form(s) (or waiver of consent) will be obtained before any participant is enrolled. Any 
amendment to the protocol will be reviewed and approved by the IRB before the changes are 
implemented to the study. In addition, the IRB will determine whether a new consent is needed based 
on the approved protocol changes and make a determination regarding whether a recall needs to be 
obtained from participants who were previously waivered or provided consent.  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 
 
 
2 
1 
 
PROTOCOL SUMMARY 
1.1 
SYNOPSIS  
Title: 
A Technology‐Driven Intervention to Improve Identification and Management of 
Chronic Kidney Disease in Primary Care 
Study 
Description: 
To prevent serious chronic kidney disease (CKD) complications such as end‐stage 
renal disease and cardiovascular (CV) events, better strategies are needed to 
identify, treat, and refer CKD patients seen in primary care clinics. This project 
expands an existing and successful web‐based clinical decision support (CDS) system 
to include key elements of CKD care and rigorously assesses the impact of this 
intervention on quality of CKD care for patients seen in primary care settings, 
including better recognition of CKD, better management of blood pressure (BP) and 
glucose, and timelier referral to nephrologists when appropriate.  
Objectives: 
 
(1) Improve identification of adults with CKD at primary care encounters; (2) Increase 
appropriate use of renoprotective antihypertensive medications, improve BP control, 
and improve glycemic management in patients with diabetes through personalized 
evidence‐based treatment options; and (3) Increase collaboration and consultation 
with nephrologists when advisable. 
Endpoints: 
Primary Endpoints: for patients with antecedent estimated glomerular filtration rate 
(eGFR) evidence of stage 3‐4 CKD, 18 months after the index visit, rates of 
(1)provider‐diagnosed CKD (2)angiotensin converting enzyme inhibitor 
(ACEI)/angiotensin receptor blocker (ARB) orders (3)recommended BP control 
(4)recommended blood glucose control; and (5)ordering consults with nephrology 
for patients with eGFR laboratory evidence of stage 3b CKD and urine micro‐albumin 
creatinine ratio (UMACR) >30 mg/g or patients with stage 4 CKD.  
Study 
Population: 
The study includes adult patients aged 18‐75 years from 32 HealthPartners (HP) and 
Park Nicollet (PN) clinics in Minnesota. This includes adult patients at study clinics 
with an encounter with a primary care provider (PCP) (general internist, family 
physician, adult‐care nurse practitioner or physician assistant) that meet the 
inclusion and exclusion criteria described in Section 5 below. Patients are included in 
the analysis for each endpoint based on care deficits identified at the index visit.  
Description of 
Facilities 
Enrolling 
Participants: 
The study will take place at HP and PN primary care clinics that are part of a large 
integrated healthcare delivery system in Minnesota and Wisconsin. Clinics in the 
Twin Cities metropolitan area with primary care departments of adequate size will 
be enrolled in the study. 
Description of 
Study 
Intervention: 
The CKD‐CDS intervention provides clinical recommendations at any primary care 
visit of patients with a deficit in any of the 5 key elements of CKD care. This presents 
patients and their PCPs multiple opportunities to consider timely, evidence‐based 
treatment options to improve CKD care. At every primary care encounter, there will 
be: 1) Data exchange and evaluation where the electronic health record (EHR) 
exchanges data with the CKD‐CDS web service; 2) Identification of study‐eligible 
patients with CKD stage 3‐4 with one or more specified care deficits (lack of CKD 
recognition, appropriate ACEI/ARB use, BP control, glucose control, or appropriate 
nephrology consultation) and alerting of rooming staff to print provider and patient 
CKD‐CDS tools; 3) the patient and provider then use the tools and recommendations 
for shared decision‐making 
Study Duration: 
29 months 

 
 
 
3 
Participant 
Duration: 
18 months minimum of follow up after an index visit 
1.2 
SCHEMA 
 
 
 
Randomize  
 
 
 
 
 
Identification 
Of Target  
Patients 
 
 
 
 
Accrued patients 
 
 
 
Provision of 
CDS materials 
 
 
Use of CDS 
Materials and  
Recommendations 
 
 
 
Outcomes assessed 
18 months post  
Index visit 
 
 
 
 
A CDS system runs at all primary care visits of adults 18‐75 and identifies patients 
with laboratory evidence of stage 3‐4 CKD  and a deficit in any of the 5 key 
elements of CKD care (CKD identification, ACE/ARB use, BP control, glycemic 
control, nephrology consultation) 
Intervention 
Usual Care 
Randomize clinics 
 
CKD recognition in the EHR among patients who lack ICD‐10 documentation 
of CKD in the electronic medical record 
 
ACEI or ARB orders among patients with nephropathy or diagnosed 
hypertension  and no current ACEI / ARB 
 
BP below recommended levels among patients with consecutive elevated BP 
 
A1C values below recommended levels among patients with elevated A1c 
 
Nephrology consultation among patients with stage 4 CKD or stage 3b CKD 
with nephropathy, and no consultation with a nephrologist in the prior year 
Accrued patients 
Intervention 
Usual Care 
Basic cardiovascular (CV) 
CDS recommendations 
and actions 
Basic CV CDS without 
CKD management 
CKD‐CDS patient‐specific recommendations 
consistent with current national CKD clinical 
guidelines for identified deficits in CKD care 
Enhanced CV CDS with  
CKD management 

 
 
 
4 
 
1.3 
SCHEDULE OF ACTIVITIES (SOA) 
 
Procedures 
Pre‐Index Visit 
Index Visit –  
first study‐
eligible visit  
18 months 
follow‐up 
Randomization of clinics to intervention or control 
X 
 
 
Wizard runs in the background at the patient’s primary care 
encounters. An encounter‐based limited data set is collected and 
stored in a data repository (intervention & control).   
X 
X 
X 
Eligible patient is assigned a study identification (ID) for longitudinal 
follow up identification (intervention & control).   
 
X 
 
Best Practice Advisory (BPA) occurs for rooming staff prompting CDS 
use for the eligible patient (intervention clinics) 
 
X 
 
The eligible patient is exposed to CKD‐CDS at a primary care encounter 
(intervention clinics) 
 
X 
 
Shared decision  making and action based on CKD‐CDS 
recommendations (intervention clinics) 
 
X 
 
Best Practice Advisory (BPA) occurs for rooming staff prompting CDS 
use for the eligible patient who previously received a BPA 
 
 
X 
The eligible patient who previously received a BPA is exposed to CKD‐
CDS at subsequent primary care encounter(s) (intervention clinics) 
 
 
X 
Shared decision making and action based on CKD‐CDS 
recommendations (intervention clinics) 
 
 
X 
Safety monitoring per Data Safety Monitoring plan (intervention & 
control) 
 
X 
X 
 
 
2 
 
INTRODUCTION 
2.1 
STUDY RATIONALE  
CKD is a common and serious chronic disease that often leads to end‐stage renal disease and major CV 
events. Although evidence‐based CKD care can slow disease progression and avert complications, less 
than 10% of CKD patients currently receive major elements of CKD care in a timely fashion. The 
objective of this project is to develop, implement, and evaluate a technology‐driven and team‐based 
intervention to improve quality of care and clinical outcomes for patients with stage 3‐4 CKD.  
The proposed CKD‐CDS intervention is rooted in the pragmatism of the primary care world, and is based 
on Wagner’s established conceptual Chronic Care Model, which posits that optimal chronic disease care 
occurs when a “prepared practice team” encounters an “activated, motivated patient.”1 Without visit 
planning based on a priori organization of information, the complexity required to deliver evidence‐
based and appropriate stage‐specific CKD (or other chronic disease) care in a timely way is an almost 

 
 
 
5 
superhuman task.2‐4 The intervention will provide patient‐specific and stage‐specific CKD treatment 
options in high‐ and low‐literacy formats to the PCP and patients at each primary care encounter to 
facilitate shared decision making. This CKD‐CDS will be implemented using previously successful 
methods that in previous CDS studies have achieved very high use rates with patients (>75% of targeted 
patient encounters) for diabetes and high cardiovascular risk. Scalability of this NIH‐developed, non‐
commercialized intervention strategy is supported by its current use (without the CKD identification or 
specific recommendations) in care systems within 14 states that provide care to more than 2,000,000 
patients in rural and urban areas in 2018.  
The intervention is conceptually simple and accommodates the need for providing personalized, 
actionable health information to PCPs and their patients as a fundamental cornerstone of personalized 
medicine. We propose to extend an existing successful outpatient EHR‐linked, Web‐based CDS to 
include key aspects of care for adults with CKD stage 3‐4. This is an ambitious goal for a 3‐year project 
but is feasible due to the experience of our team and previous foundational CDS work funded by NIH 
grants.  
If this intervention is effective, it is immediately scalable and could (a) improve quality of care for large 
numbers of CKD patients, thereby slowing progression of CKD and improving quality of life, (b) maximize 
the clinical return on massive public and private investments now being made in sophisticated 
outpatient EHR systems, and (c) provide a health informatics prototype that rapidly and consistently 
translates evolving evidence‐based CKD clinical guidelines into delivery of personalized and coordinated 
CKD care within primary care settings. 
2.2 
BACKGROUND  
Evidence‐Based CKD Care Recommendations in Adults with Stage 3‐4 CKD 
There is substantial randomized trial evidence that key components of CKD care slow progression of 
renal disease and substantially reduce the occurrence of major adverse cardiovascular (CV) events. The 
strength of this evidence is reflected in evidence ratings of the recommendations found in a number of 
CKD clinical guidelines. Recommendations with strong ratings (grade B or higher) in multiple clinical 
guidelines5‐7 include: (a) Diagnostic classification of CKD based on eGFR and albuminuria category; (b) BP 
control to <140/90 mm Hg in adults with CKD and normal ACR <30 mg/g (or an equivalent albuminuria 
test) OR <130/80 mm Hg in adults with ACR >300 mg/g; (c) use of ACEI or ARB in adults with diabetes 
and ACR 30‐300 mg/g OR all patients with ACR >300 mg/g. The 2017 American College of 
Cardiology/American Heart Association (ACC/AHA) Guideline for blood pressure  recommends that 
initial or add‐on antihypertensive treatment should include an ACEI or ARB for the population aged 18 or 
older with CKD8 ; and (d) Individualized glycated hemoglobin (A1C) targets of approximately 7% (or 
higher in patients with limited life expectancy or risk of hypoglycemia).  
Selection of Key Elements of CKD Care 
PCPs deal with a mean of 4+ problems per visit, and there are more than 400 evidence‐based clinical 
recommendations that may apply to an adult primary care patient, depending on the patient’s clinical 
status.9,10 Thus, while in an ideal world, all CKD guideline recommendations would be included in a CDS 

 
 
 
6 
system, from a practical point of view, we have decided to strongly emphasize the CKD‐related 
recommendations with the highest evidence rating and greatest potential to improve long‐term health 
for large numbers of CKD patients. We argue that getting PCP buy‐in and high use rates of a “good” CDS 
system is going to benefit many more patients than if PCPs decide not to use a “perfect” CDS system 
that is overly complicated and time consuming.11‐13 
Gaps in Key Elements of CKD Care of Adults with Stage 3‐4 CKD in Primary Care Settings. 
Causes of CKD Care Gaps. Across multiple clinical domains, it is clear that failure of providers to intensify 
treatment in a timely and appropriate way remains a major obstacle to care improvement.14‐21 Other 
obstacles to better CKD care include failure to evaluate a patient for CKD, failure to recognize CKD even 
when laboratory data substantiate the diagnosis, medication nonadherence, and lack of timely and 
appropriate referral to nephrology in certain clinical circumstances.22 
Magnitude of CKD Care Gaps (Preliminary Data). Even in relatively high‐performing primary care 
settings, there are remarkably large opportunities for improvement in CKD care. Table 1 shows data on 
basic elements of CKD care delivered to adults with CKD at HealthPartners Medical Group (HPMG) in 
Minnesota, where this study will be conducted. HPMG is a multispecialty medical group that partners 
with Park Nicollet (PN) in a care delivery organization that has been repeatedly recognized nationally for 
high‐quality hypertension control, diabetes care, and excellent overall quality of care. However, recent 
data provide irrefutable proof that high percentages of adults with CKD fail to meet evidence‐based BP, 
glucose, or ACEI/ARB treatment targets. This is related in part to low rates of CKD recognition and low 
rates of timely and appropriate referral to nephrology. These pilot data establish that sizeable gaps in 
quality of CKD care persist even in a well‐organized care setting, and attention needs to be directed to 
specifically improving CKD care. 
 

 
 
 
7 
Opportunities to Improve CKD Care in Primary Care Settings 
This project identifies and exploits the current opportunity to bring the power of CDS to bear on the 
problem of suboptimal CKD identification, suboptimal CKD care, and delayed referral of CKD patients to 
nephrology for evaluation and needs related to disease progression. Widespread adoption of EHRs in 
primary care settings provides a recent opportunity to exploit EHR and integrated Web‐based 
technology to improve CKD care. Time‐motion studies suggest that a PCP using an EHR without CDS will 
need an estimated 30 clicks and at least 3 minutes to gather the information needed to confirm or 
confer a CKD diagnosis and current CKD stage of the patient; review electrolytes, eGFR, and albuminuria 
data; assess BP control, use of an ACEI/ARB, and glucose control; and assess the potential benefit of a 
nephrology referral.23‐28 Moreover, once uncontrolled BP or glucose is identified, PCPs using EHRs 
without CDS must click many times to locate and synthesize the clinical data needed to appropriately 
adjust therapy, which includes identification of current therapy and adherence to current therapy, 
identification of previous treatment, drug allergies or drug intolerances, consideration of possible dose 
adjustments due to impaired renal function, and consideration of various potential drug‐drug and drug‐
condition interactions. Moreover, these myriad complex CKD‐related issues that demand attention 
often constitute only one of several clinical issues that require attention at the current visit.2, 13, 29‐33 This 
clinical complexity often leads lack of recognition of CKD (or CKD progression) and deferral of necessary 
changes in treatment until the “next” visit, due to lack of time. At the next visit, this scenario is often 
repeated, such that the cumulative delay in CKD recognition, management, and/or appropriate 
nephrology referral often stretches to months or years. 
Using CDS to Improve CKD Care in Primary Care Settings 
CDS Has Rarely Been Used to Improve Outpatient CKD Care. Widespread use of EHRs offers new 
opportunities to improve CKD care. In reports issued 25 years ago, the Institute of Medicine asserted 
that EHR technology would lead to substantial improvements in quality of medical care in America.34,35 
Since that time, private and public investments in EHR systems have totaled hundreds of billions of 
dollars, with most CDS interventions unable to demonstrate improvements in chronic disease outcomes 
other than process measures until very recently.36‐43 Even so, technology specifically designed to 
improve CKD primary care has lagged behind, with few reports of success.44‐46 
Adapting Successful EHR‐Linked Web‐based CDS to Improve CKD Care. Much of what has been learned 
in the last 25 years about how to implement effective CDS in primary care settings for chronic diseases 
such as diabetes and hypertension can inform the design, implementation, and maintenance of CDS 
systems designed to address the multiple demands of CKD care. Key features of successful primary care 
CDS systems include the following: integrating the CDS at the appropriate point in the clinic workflow—
usually near the beginning of the visit; engaging both office staff and clinicians in the CDS process; 
providing CDS that is more sophisticated than simple prompts and reminders; saving time for clinicians; 
providing the CDS in a simple and intuitive format; and providing CDS not only to the clinician but also to 
the patient. 

 
 
 
8 
Conceptual Model for this Technology‐Focused, Team‐Based Intervention to Improve Chronic Disease 
Care. Our previous work on using CDS to improve chronic disease care outcomes is guided by Wagner’s 
well‐vetted and much‐used Chronic Care Model, which posits that optimal chronic disease care occurs 
when a “prepared practice team” encounters an “activated, motivated patient.”1 It is no surprise that 
Wagner suggests that innovative use of information systems and efficient visit planning are foundational 
elements of successful chronic disease care.47,48 Without visit planning based on a priori organization of 
information, the complexity required to deliver evidence‐based and appropriate stage‐specific CKD (or 
other chronic disease) care in a timely way is an almost superhuman task.2‐4 CKD‐CDS algorithms prepare 
the PCP for the visit, but they also are used to present the patient with a set of evidence‐based 
treatment options related to CKD care. After the patient considers these options, the PCP can simply 
inquire about possible interest in one or more options and act on those the patient identifies, thus 
promoting both shared decision making and patient‐centered care. 
The CDS system we developed was also informed by extensive input from PCPs who would be users of 
the technology and by our careful analysis of numerous antecedent failed efforts to improve chronic 
disease care in primary care settings using CDS.36‐38,49‐52 We deduced from this analysis that a successful 
chronic disease care CDS strategy must overcome the following barriers in order to be successful: (a) 
Decision support must be available at the point of care and be based on all available clinical data, 
including BP levels taken at the time of that visit;43 (b) Decision support must be sophisticated (what 
drug, what dose) and not limited to general prompts or reminders (BP is too high);36,38,53 (c) The tool 
must be integrated into the routine workflow of the primary care clinic; (d) CDS should be implemented 
in a way that engages patients and promotes shared decision making54‐56 and (e) Clinic training and 
feedback of clinic‐specific and PCP‐specific CDS use rates are needed to achieve and sustain CDS use 
rates high enough to have an effect on chronic disease outcomes. 
Previous Development of Successful Outpatient Chronic Disease Care CDS by our Research Team. This 
intervention is modelled on successful outpatient chronic disease care CDS systems that were part of 2 
large NIH‐funded projects that developed, implemented, and maintained high use rates of sophisticated 
CDS systems that address multiple clinical domains in adults, including glucose control, BP control, lipid 
management, aspirin use, smoking cessation, and weight management.  
In the first of the completed projects, R01DK068650, the CDS significantly improved glucose and BP 
control in adults with diabetes and was very cost effective in a formal economic analysis.57 In this trial, 
we randomized 11 clinics with 41 consenting PCPs and 2556 eligible diabetes patients and found that (a) 
the EHR‐based CDS intervention was used at 62.6% of targeted intervention clinic visits, (b) the CDS 
system significantly improved glycated hemoglobin A1 (A1c) (intervention effect ‐0.26%, 95% CI: ‐0.06 to 
‐0.47, P=.014) and systolic BP (intervention effect ‐2.64 mm Hg, 95% CI:‐ 0.19 to ‐5.10, P=.035) relative 
to control group diabetes patients, and (c) 95% of PCP users were satisfied or very satisfied with the CDS 
system.43  
In the second completed project of CV Wizard CDS, we targeted adults without diagnosed diabetes or 
heart disease but with high CV risk and uncontrolled major CV risk factors and were able to achieve a 

 
 
 
9 
highly clinically significant absolute 2% reduction in 10‐year ACC/AHA CV risk (22% vs 24% at end of 
study, P=.001), see Figure 1 below.  
Figure 1: CV Wizard CDS Study Primary Outcome: ‐ predicted 10 year CV Risk over the time elapsed since 
index visit by study arm    
 
Further, the CDS significantly improved PCP‐reported practice patterns, and PCP users of the CDS system 
reported 85%‐98% satisfaction with the CDS system, with 94% recommending it for use by their peers.58‐
61 In this study and subsequent implementation in other care systems, we have achieved sustained CDS 
use rates of 70%‐80% at targeted visits, primarily by providing automated PCP‐specific and clinic‐specific 
feedback on CDS use rates at targeted visits (a strategy we will employ in this CKD project as well), see 
Figure 2 below. 
Figure 2: Wizard CDS Use Rates in 3 Care Systems           
 
The extension of this CDS system to include multiple key elements of care for adults with stage 3‐4 CKD, 
with or without albuminuria, is a natural extension of the past work we have done with CDS in primary 
care settings. Happily, the Web service, algorithms, interfaces, data security arrangements, automated 

 
 
 
10 
feedback of use rates to PCPs and clinics, and other key features developed and implemented in prior 
projects are not only intact, the multi‐channel Web service processes about 600,000 patient encounters 
per month, identifying selected subgroups of patients (about 150,000 patients per month) who may 
benefit from changes in treatment in order to achieve various evidence‐based clinical goals at a 
processing time of 300 milliseconds per case. In this project, we propose adding CKD‐CDS in a 
randomized fashion to primary care clinics to assess its impact on the key elements of CKD care targeted 
in this proposal. The CDS system is a non‐commercialized system whose modest maintenance costs are 
currently shared among the participating medical groups. 
Established Research Team. The research team includes expertise in primary care, nephrology, 
computer science, decision science, epidemiology, heath services research, statistics, and social 
sciences. In addition, we have an established and very talented team of programmers and analysts who 
are well acquainted with EHR and Web programming challenges, data security protocols, and other 
data‐related issues, and we have the enthusiastic support of HealthPartners clinical leaders and 
nephrology department chairs that guarantee access to more than 30 primary care clinics for this clinic‐
randomized study. 
2.3 
RISK/BENEFIT ASSESSMENT   
2.3.1 KNOWN POTENTIAL RISKS AND THEIR ASSESSMENT 
Potential Risks. Risks to PCPs and patients are considered minimal.  There could be risk that the CKD‐CDS 
would recommend treatment that is not appropriate for an individual patient due to factors not present 
in the electronic health record data.  Providers are well‐trained about the limitations of the CDS and 
every CDS display contains a disclaimer that emphasizes that the CDS is not a substitute for clinical 
judgement as described in more detail below.     
Risks could also involve violations of confidentiality. Because more than one nurse‐PCP team uses the 
same printer, names on all printed CDS material is required to avoid mixing up the printed pages and 
giving personally identifiable health information (PHI) to the wrong patient (this is also true of the visit 
instructions/after visit summary that is provided as part of routine care). It is also desirable to have each 
patient’s name on this sheet of paper to ensure the patient knows that the information on the paper is 
personalized and related to his or her own health state. The technical aspects of this system are also 
relevant. The CDS system includes a Web service that identifies eligible patients, computes CV and CKD 
risks, prioritizes clinical conditions, and provides treatment recommendations based on a complex set of 
evidence‐based algorithms. Although the printout is displayed and printed from the EMR, the printout is 
controlled from the CDS Web site and, therefore, the Web site must have the patient’s name and other 
PHI. Security measures to minimize risks in PHI violations are discussed in detail below. 
Protection against Risk: The following measures will be taken to protect patients and PCPs from the risk 
of breach of confidentiality: The analytic database will be comprised of a Limited Data Set and 
maintained on a HealthPartners server within the HealthPartners firewalls, and only research team 
programmers and analysts on this project will have access to the password‐protected analytic database.  
The following measures will be taken to minimize the risk that a PCP will act wrongly on the basis of 
information provided through CDS tools developed for this study: Each project‐related CDS 

 
 
 
11 
communication will include a written explanation, prominently placed, that no clinical action of any kind 
should be undertaken as a result of CDS suggestions without provider review of the patient’s entire 
medical record and with due consideration given to all aspects of the patient’s health, previous health 
care, current treatment, and other factors.  Current CDS disclaimer as approved by HPMG and PN legal 
teams reads as follows: “The Wizard suggestions are based on electronically available data and are not 
intended to be a substitute for clinical judgment. Alternative actions to those that Wizard suggest may 
be indicated. Exercise independent clinical judgment, review allergies, and follow product labelling 
instructions before choosing Wizard prescribing suggestions.” To date on CDS projects, no reports of 
PCPs acting wrongly on the basis of CDS problems have been reported.  In general, the CDS is much 
more likely to prevent potential omissions in important care needed. 
2.3.2 KNOWN POTENTIAL BENEFITS AND THEIR ASSESSMENT 
No claim is made in communications with study subjects (whether providers or patients) that any 
personal benefit will accrue from participating in this project. 
PCPs will have no defined benefits from participating in this project. However, the decision support 
designed to optimize CKD care may serve to familiarize some providers with new and potentially useful 
information that can be used to improve the clinical care they deliver in the present or the future. No 
providers or patients will receive monetary compensation for any aspect of the study unless specifically 
recruited and consented for interviews to assess the CDS design or experience. 
As documented in this proposal, there are major existing deficits in the quality of CKD care delivered in 
primary care clinics nationally and internationally. Improved CKD care can reasonably be expected to 
reduce the burden of morbidity or mortality related to progressive renal disease and major 
cardiovascular events. If the interventions fail to improve CKD care, this knowledge will also be 
important since it will direct the attention of investigators to other, potentially more fruitful lines of 
investigation. Thus, regardless of specific findings, the results of this trial will provide important new 
knowledge that will ultimately contribute to improved care for adults with CKD. 
3 
OBJECTIVES AND ENDPOINTS 
 
OBJECTIVES 
Impact of the intervention on: 
ENDPOINTS 
GUIDELINE JUSTIFICATION FOR 
ENDPOINTS* 
Primary 
 
 
1. provider‐diagnosed CKD for 
patients with no documented 
CKD diagnosis (recognition 
care gap) 
1. Provider‐diagnosed CKD 
in the 18‐month period 
after an index visit 
 (a) Diagnostic classification of 
CKD based on eGFR and 
albuminuria category; 
2. ACEI/ARB orders for patients 
with diagnosed hypertension 
or nephropathy and no 
current ACEI/ARB (ACEI/ARB 
care gap) 
2. ACEI/ARB orders in the 
18‐month period after an 
index visit 
(b) use of ACEIs or ARBs in 
adults with diabetes and 
UMACR 30‐300 mg/g OR all 
patients with UMACR >300 
mg/g; 
3. recommended BP control for 
patients with consecutive 
elevated BP (BP care gap) 
3. Recommended BP control 
by the end of the 18‐
month period after an 
index visit 
(c) BP control to <140/90 mm 
Hg in adults with CKD and 
normal UMACR <30 mg/g OR 
<130/80 mm Hg in adults with 
ACR >300 mg/g; 

 
 
 
12 
OBJECTIVES 
Impact of the intervention on: 
ENDPOINTS 
GUIDELINE JUSTIFICATION FOR 
ENDPOINTS* 
4. recommended blood glucose 
control for patients with 
elevated A1c (glucose care 
gap) 
4. Recommended blood 
glucose control by the end 
of the 18‐month period 
after an index visit 
(d) Glycemic control using 
individualized A1C targets of 
less than 7% or less than 8% in 
patients with limited life 
expectancy, cognitive 
impairment, or increased risk 
of hypoglycemia; 
5. rates of consultation with 
nephrology for patients with 
stage 4 CKD or stage 3b CKD 
and UMACR >30 mg/g and no 
recent consultation with a 
nephrologist (nephrology care 
gap) 
5. Nephrology consultation 
in the 18‐month period 
after an index visit 
(e) Timely nephrology care 
Secondary  
 
 
a) Use of non‐steroidal anti‐
inflammatory drugs (NSAIDs) 
b) Medication adherence 
c) Treatment heterogeneity 
d) Treatment intensification 
among patients not at their BP 
or glucose goals 
e) CKD treatment patterns across 
PCPs 
f) safety issues, including 
hypotension, hypoglycemia, 
and electrolyte disturbances, 
emergency department (ED) 
visits, hospital admissions for 
renal and non‐renal causes, 
major CV events, and 
mortality as deemed 
necessary per the data safety 
and monitoring plan 
g) Understand provider 
perspective in development of 
the prototype of the CDS 
a) Rates of NSAID use 
b) Medication adherence 
scores to blood pressure and 
glycemia medications 
c) Treatment heterogeneity 
d) Rates of treatment 
intensification among patients 
not at their BP or glucose 
goals 
e) Variations in CKD treatment 
patterns across PCPs 
f) safety issues, including 
hypotension, hypoglycemia, 
and electrolyte disturbances, 
emergency department visits, 
hospital admissions for renal 
and non‐renal causes, major 
CV events and mortality 
g) Provider experience with 
the CKD‐CDS tools based on 
interview data  
Rates of treatment 
intensification, variations of 
CKD care across PCPs and 
overall treatment 
heterogeneity are indicators of 
provider utilization of the CKD‐
CDS. 
 
On the patient side, treatment 
heterogeneity and care 
disparities are additional 
measures of overall quality of 
care. 
 
We have a data safety and 
monitoring plan that includes 
assessing safety issues like 
hypotension, hypoglycemia, 
electrolyte disturbances and ED 
visits among others. 
 
End user experience is 
important for future scaling up 
if the intervention is successful 
* The endpoints for this study correlate with strongly rated recommendations for slowing progression 
of CKD in multiple clinical guidelines5‐7. 
4 
STUDY DESIGN  
4.1 
OVERALL DESIGN 
• 
A statement of the hypothesis: CKD is a common and serious chronic disease that often leads to end‐
stage renal disease and major cardiovascular events. Although evidence‐based CKD care can slow 

 
 
 
13 
disease progression and avert complications, less than 10% of CKD patients currently receive major 
elements of CKD care in a timely fashion. We hypothesize that the intervention will 1) Improve 
identification of adults with CKD at primary care encounters; (2) Increase the appropriate use of 
renoprotective antihypertensive medications, improve blood pressure control, and improve 
glycemic management in patients with diabetes through personalized evidence‐based treatment 
options; and (3) Increase collaboration and consultation with nephrologists. 
 
Phase of the trial: 3 
 
A description of the type/design of trial to be conducted: This study is a prospective, 2‐arm, cluster 
randomized trial, randomizing primary care clinics at HealthPartners and Park Nicollet to 
intervention and usual care arms. It is a single site study. 
Figure 3: Study Design 
 
 
A description of methods to be used to minimize bias: Covariate‐based constrained randomization 
using a computer‐generated allocation scheme was used to enhance balance across study arms on 
key factors. This method enables multiple factors to be balanced between treatment groups and can 
increase statistical power beyond simple randomization.  
 
 
Name of study intervention: Chronic Kidney Disease Clinical Decision Support (CKD‐CDS), also known 
as  CKD Wizard 
 
Name of sub‐studies, if any, included in this protocol: None 
 
4.2 
SCIENTIFIC RATIONALE FOR STUDY DESIGN 
The CKD‐CDS intervention provides timely, data driven information to providers at primary care visits 
with patients who have CKD and a deficit in CKD care. Because it is common for patients to see more 
than one clinician over time, particularly in the same clinic, there is significant risk of contamination if 
the intervention were to be randomized at the patient or provider level. However, patients tend to 
receive most of their care over time at a single clinic, and clinicians tend to practice at a single clinic. For 
this reason, contamination risk across clinics is relatively low. The cluster‐randomized trial design 
32 primary care clinics
Patient‐level assessment of 5 key elements of CKD care
(Recognition of CKD, ACEI/ARB use, BP control, glucose control, nephrology referrals)
CKD‐CDS INTERVENTION (16 clinics)
USUAL CARE (16 clinics)
CKD‐CDS INTERVENTION
USUAL CARE
Randomization 
Analysis 
Accrued patients 

 
 
 
14 
randomizes primary care clinics to usual care or CKD clinical decision support to minimize risk of 
contamination.  
Clinics were randomly allocated 1:1 to intervention or usual care based on the results of a computer‐
generated algorithm. From the time the CKD‐CDS tool was implemented in April, 2019, through March, 
2020, the CKD‐CDS interface was programmed to display at eligible visits in clinics randomized to the 
CKD‐CDS intervention group. As a result, intervention‐eligible patients were exposed to the intended 
treatment at visits that took place in a clinic assigned to the same treatment group as their index visit 
clinic.  
The care systems responded to the COVID‐19 pandemic in March, 2020, by closing or realigning many of 
the randomized clinics, making significant changes to the clinics at which providers practiced and 
shifting from in‐person to telehealth visits. The clinic closures and changes in provider locations 
disrupted what had been reliable correspondence between patients and clinic locations; and hence, 
made exposure to the intended treatment group unreliable. The shift in visit modality made it very 
difficult to access the CKD‐CDS interface (i.e., the intervention) during  visits. Index visits were 
suspended as of March, 2020, and the CKD‐CDS interface was turned off between March and August, 
2020, to prevent unreliable intervention delivery and technological challenges.  
CKD‐CDS delivery resumed in August, 2020 and included all patients who had an index visit at a 
randomized clinic through March, 2020.  The clinic‐randomized treatment group that was assigned at 
each patient’s index visit followed each study‐eligible patient to all of their post‐index visits regardless of 
clinic location (intervention, control) or modality (in‐person, phone, video). This programming change 
was made to preserve the patient‐within‐randomized‐clinic structure, and maximize treatment fidelity. 
Programming treatment group assignment to follow the patient enabled the intended treatment to be 
delivered to patients at post‐index visits, even when those visits take place with different providers or at 
different clinics. 
Some provider contamination and learning effects are possible to the extent that intervention patients 
may have post‐index visits with providers from control clinics. Because patients tend to continue seeing 
their index providers over time, control clinic providers’ exposure to the intervention through seeing 
intervention patients is unlikely to be frequent enough for sustained learning. 
The pragmatic study design improves generalizability to real world clinical settings. 
4.3 
JUSTIFICATION FOR DOSE 
Not applicable 
 
4.4 
END OF STUDY DEFINITION 
The end date for the study is defined as the date that corresponds to 18 months after the index visit of 
the last person enrolled at a study clinic during the 11 month patient accrual period.  Note that the 
accrual period was shortened from 12 to 11 months due to the onset of the Covid‐19 pandemic in 
March 2020. The pandemic also caused disruptions in care delivery and decreased volume of primary 
care encounters in mid‐2020 which interrupted intervention delivery during this period. We extended 
the follow‐up period from 12 months to 18 months to increase the number of patients with primary care 
encounters and follow‐up measures needed to assess intervention impact. 
5 
STUDY POPULATION 
5.1 
INCLUSION CRITERIA 

 
 
 
15 
Clinics are the primary unit of randomization. Medical group leaders at HPMG and PN agreed to enroll 
at least 30 primary care clinics in this study and provided letters of support. In order to be eligible for the 
study, a clinic was required to meet the following requirements: 
1) Be a HealthPartners Medical Group or Park Nicollet care system clinic 
2) Have an established adult primary care department within the clinic (family medicine, adult 
medicine, and/or combined pediatrics/internal medicine) 
3) Have a minimum of 20 study eligible patients 
4) Have access to a nephrologist or nephrology clinic within reasonable geographic proximity 
 
Eligible Adult Patients:  
Patients with an encounter with a primary care provider (general internist, family medicine physician, 
advanced practice nurse or physician assistant) at a study clinic were eligible for the CKD‐CDS if the 
following criteria were met: 
1) Aged 18 to 75 years, inclusive on their index date. The evidence‐based guidelines on which the 
CDS intervention is based are not applicable outside this age range.62 
2) Have laboratory evidence of CKD based on eGFR values <60 cc/min/1.73m2, including the most 
recent eGFR value on or prior to index date, and the closest previous eGFR done at least one 
week prior   
3) Have one or more CKD care components suboptimally managed at the time of the index visit. 
 
 
 
suboptimally managed if 
CKD recognition 
care gap 
1.1) CKD not documented in 
the electronic health record 
1.1) ICD‐10 codes N18.3, N18.4, N18.5, N18.6, 
N18.9 at <2 outpatient encounters, and not on 
the problem list, in the previous 2 years 
ACEI / ARB care gap 
2.1) stage 3 CKD; and 
2.2a) diagnosed 
hypertension, or  
2.2b) nephropathy; and  
2.3) no evidence of 
hyperkalemia; and 
2.4) ACEI / ARB not current at 
index 
2.1) eGFR 30‐<60 cc/min/1.72m2; and  
2.2a) ICD‐10 codes I10, I11.x, I12.x, I13.xx, 
I15.x, I16.x at 1 inpatient or 2 outpatient 
encounters, or on the problem list, in the 
previous 2 years, or 
2.2b) UMACR >= 30 mg albumin / g creatinine 
; and 
2.3) no ICD‐10 code E87.5 or serum potassium 
>= 6.5 mg / dl  in the previous 2 years; and 
2.4) no ACEI / ARB orders with start date 
before or on index date, or end date on or 
after index date 
 
BP care gap 
3.1) 2 consecutive elevated 
BP  
3.1) index BP and next most recent BP >= 
130/80 mm Hg 
Glucose care gap 
4.1) diagnosed diabetes; and 
4.2) A1c above goal 
4.1) ICD‐10 codes E10, E11 at 1 inpatient or 2 
outpatient encounters, or on the problem list, 
in the previous 2 years; and 
4.2) most recent A1c>=7 on or before index 
date 
Nephrology care 
gap  
5.1) Stage 3b or 4 CKD; and  
5.1a) most recent eGFR15‐<30 cc/min/1.72m2, 
or  

 
 
 
16 
5.2) nephrology referral 
needed 
5.1b) eGFR30‐<45 cc/min/1.72m2 and UMACR 
>=30 mg/g; and 
5.2) no completed nephrology visit in prior 
year 
 
The index visit is defined as the first visit at any randomized clinic during the accrual period at which the 
patient met these CKD‐CDS intervention eligibility criteria and none of the exclusion criteria. The patient 
accrual period (for index visits) was 11 months, followed by a 18‐month observation period, so that 
patients will have 18 to 29 months of post‐index follow up (estimated median, 24 months).  
Each patient was assigned to the clinic where their index visit took place and by extension to the 
randomized treatment group of that clinic. Patients with index visits at clinics randomized to the CKD‐
CDS intervention (or usual care) group were considered CKD‐CDS intervention (or usual care) patients. A 
patient could have post‐index visits, that may or may not be intervention eligible, at clinics randomized 
to the other treatment group. Following intent to treat principles, the patient’s treatment group 
assignment will not change as a result of the clinic treatment group assignment or patient intervention 
eligibility at the post‐index visits. Additionally, the index visit marks the beginning of each patient’s 18‐
month observation period.  
Web‐based eligibility algorithms assess eligibility at all visits in all randomized clinics for the duration of 
the intervention period. As a result, all patients who have visits during the intervention period will be 
universally and consistently screened for intervention eligibility without any action, or even awareness, 
from clinic staff. There is no consenting process for accruing patients into the study, except that patients 
who have requested to be excluded from all research will be excluded from the study analyses. In sum, 
neither the patients, clinicians nor study team can influence when a visit is identified as an index visit; 
and patients who exclude themselves from research are excluded from outcomes analyses. These 
factors combined minimize the risk of selection into the study denominator to the extent that virtually 
all intervention eligible patients are included. 
 
 
5.2 
EXCLUSION CRITERIA 
An individual who meets any of the following criteria will be excluded from receiving the CKD‐CDS: 
1) Patients enrolled in hospice, 
2) Patients with active cancer (3 or more diagnosis codes in last year) or undergoing parenteral 
chemotherapy 
3) Patients with pregnancy in the last year 
4) Patients with end stage renal disease 
 
5.3 
LIFESTYLE CONSIDERATIONS 
Not applicable 
 
5.4 
SCREEN FAILURES 

 
 
 
17 
All visits at all randomized clinics are screened for intervention eligibility via the CKD‐CDS eligibility 
algorithms for the duration of the study. The IRB waived written informed consent for patients so those 
who meet inclusion and exclusion criteria based on then‐current electronic medical record data are said 
to have an index visit and included in the study. The only exception to universal eligibility screening is 
the rare occasion when a network‐wide outage or other large‐scale event prevents the algorithms from 
running. Such events are exceedingly rare, and we assume that unscreened yet eligible patients are 
equally distributed across treatment groups. 
 
 
5.5 
STRATEGIES FOR RECRUITMENT AND RETENTION 
Based on endorsement and support for CDS by the medical leadership, the 32 largest  clinics meeting 
the criteria for eligibility were included in the study with leadership approval.  The CDS intervention was 
integrated into the routine care and workflow for patients in the clinics.  Several strategies used 
successfully in previous studies were adopted to ensure high use rates of the CDS at the point of care. 
These include: 
1. Training sessions for clinic staff either in‐person or through live or taped webinars (with lunch 
provided) prior to the onset of the intervention to stress the importance of the intervention to patients 
and describe the recommended workflow. 
2. Reliance on nursing staff rather than providers to print the CDS tools when a best practice advisory 
(BPA) pops up during the rooming process for patients who meet the study edibility criteria. 
3.  Setting a goal with providers and clinics staff to print the CDS tools at 75% or more of eligible 
encounters and sending clinic leaders frequent reports of CDS print rates at the clinic and provider 
levels. 
4.  Outreach phone calls and emails to clinic leaders if print rates at an intervention clinic drop below 
goal. 
5.  Assessing end user experience and collecting feedback throughout the intervention period and being 
responsive as needed to improve the CKD‐CDS tools and intervention overall.  
 
6 
STUDY INTERVENTION 
6.1 
STUDY INTERVENTION(S) ADMINISTRATION 
6.1.1 STUDY INTERVENTION DESCRIPTION 
Intervention Clinics/Patients: The CKD‐CDS intervention provides updated clinical recommendations at 
any primary care visit for study‐eligible patients; at intervention clinics these are seen by PCPs and 
patients as described.  At usual care clinics, the CDS output is not displayed or accessible to PCPs or 
patients but is archived electronically for analysis purposes. The CDS presents to patients and their PCP 
an evolving array of timely, evidence‐based treatment options to improve CKD care (see Figure 2 below). 
Treatment options are patient specific, tailored to the patient’s current clinical state, and evolve over 
time as the patient’s clinical state evolves, or when evidence‐based guidelines evolve. As described in 
detail above, the CKD‐CDS intervention proposed in this project is rooted in a series of antecedent 
studies that developed more limited but successful forms of CDS.40, 63, 64 From an operational point of 
view, implementing CKD‐CDS at intervention clinics requires a series of 4 distinct steps that occur at 
every encounter as described in Figure 2 below. 
 

 
 
 
18 
 
Step 1: Data exchange and evaluation: The EHR securely exchanges data with the Web Service at every 
encounter of patients aged 18‐75 triggered by BP entry or chart opening for video and phone visits.  
Step 2: Recognition of CKD and presence of care deficits: Patients with stage 3‐4 CKD are automatically 
identified by the Web Service and evaluated using algorithms maintained in the Web service for 
identification of CKD and for the 5 emphasized care gaps (identification of CKD, BP control, glucose 
control, ACEI/ARB use if appropriate, , and nephrology consultation if appropriate). If the patient has a 
care gap, the rooming staff receives an immediate BPA prompt to print CDS materials for the patient 
and the provider to review and use for shared decision making. Using a sequence of steps successfully 
implemented in previous studies, the rooming staff will print the materials and give the lay version to 
the patient to review while waiting for the provider. A professional version is left on the door for the 
provider to review before entering the exam room. This approach has been well‐liked by our providers 
to help them be prepared and to engage patients in their care needs before the clinician‐patient 
interaction. PCPs can also optionally view an electronic version of the CDS materials. The CDS can be 
viewed in real time for any patient by clicking on a button programmed in the EHR encounter display. 
Step 3: Use of CKD‐CDS recommendations as shared decision‐making tools: The participating providers 
and all rooming staff in the intervention clinics will be trained in the use of the provider (professional) 
and patient (low‐literacy) versions of the CKD‐CDS. For this study, the CDS tool will be adapted to 
emphasize CKD and, for each identified deficit in CKD care, the CKD‐CDS will display patient‐specific 
recommendations consistent with then‐current national CKD clinical guidelines; for example: (a) 
recognize CKD and ask the PCP to enter a CKD diagnosis on the problem list if indicated, and/or (b) 
specific considerations for how to modify BP control, glucose control, or ACEI/ARB therapy, and/or (c) 
refer certain patients to nephrology when referral criteria are met. The PCP assesses patient preference 
for any of the CKD‐related treatment options. If the patient wants to act on 1 or more, the PCP can 
address it then or schedule a subsequent visit for that purpose. If the patient is not interested in any 

 
 
 
19 
option, no further action is needed at that day’s visit. The decision support provided to the PCP is very 
specific and, if pharmacotherapy is indicated, decision support specifies either initiation or titration of 
specific drugs based on the drugs/doses the patient is currently taking, distance from goal, and other 
clinical considerations outlined above. The patient version of the CKD‐CDS uses symbols to provide easy 
patient recognition of priority clinical areas and then suggests potential treatment options they can 
discuss with their provider. Presenting key CKD care recommendations when indicated (all of which are 
evidence based and capable of improving CKD care) allows the patient freedom to select his or her 
preferred treatment option from among several evidence‐based potentially beneficial treatment 
options. Because patient preference for health‐related actions varies across specific actions, offering 
several options improves the chance that a given patient may be interested in addressing at least 1 of 
the evidence‐based options presented. Moreover, patient engagement  is a key predictor of subsequent 
adherence and success of treatment, as we have previously shown in this patient population.65‐70 It is 
important to realize that the printed page the patient receives *is designed to direct discussion to a set 
of prioritized evidence‐based treatment options with likely benefit to that patient. 
Step 4. Take action based on the decisions made: After discussing with the patient, the provider can then 
go ahead and order the recommendations suggested by the CDS such as labs, medication, e‐consults or 
referrals to nephrology or other specialists. All actions taken are governed by the provider’s clinical 
judgement and the patient’s preferences, not by the CKD‐CDS. 
Usual Care Clinics: All control clinics/patients will continue to use the basic EMR‐linked CDS for CV risk 
factor management. This CDS system includes algorithmically derived identification of high CV risk 
patients and prioritized treatment suggestions for lipids, BP, glycemic control, weight, tobacco, and 
aspirin use based on distance from goal, current medications, comorbid conditions, labs, allergies, and 
safety considerations.71‐76 The basic CDS does not include information specific to CKD care. Important to 
note is that the CKD‐CDS tool will be running silently (in the background) at all clinics randomized to the 
Usual Care arm of the study. However, only the results of algorithms run by the basic EMR‐linked CDS 
for CV risk factor management will be displayed in the Usual Care clinics. Running CKD‐CDS silently in 
Usual Care clinics ensures that identification of study‐eligible patients, and collection of primary 
outcome data will be done identically across all randomized clinics. Our ability to control the display of 
the CKD‐CDS tool by clinic ensures that patients in Usual Care clinics continue to receive current 
standard of care (CDS for CV risk) and prevents intervention contamination at Usual Care clinic visits.   
6.1.2 DOSING AND ADMINISTRATION 
Not applicable 
 
6.2 
PREPARATION/HANDLING/STORAGE/ACCOUNTABILITY 
6.2.1 ACQUISITION AND ACCOUNTABILITY 
Not applicable 
 
 
6.2.2 FORMULATION, APPEARANCE, PACKAGING, AND LABELING 
Not applicable 
 
6.2.3 PRODUCT STORAGE AND STABILITY 

 
 
 
20 
Not applicable 
 
6.2.4 PREPARATION 
Not applicable 
 
6.3 
MEASURES TO MINIMIZE BIAS 
 
The information exchange between the web service and electronic health record occurs automatically at 
each visit at the randomized clinics. Algorithms use the information extracted from the electronic health 
record to systematically assess care gaps, treatment opportunities and safety issues, and then assemble 
tailored intervention content that incorporates algorithm outputs. As a result, the intervention content 
made available to front end users is up to date, informed by all available and relevant data and 
consistent with treatment guidelines across all patients and encounters.  
  
6.4 
STUDY INTERVENTION COMPLIANCE 
Achieving and maintaining high CKD‐CDS use rates. The intervention relied on nursing staff rather than 
providers to print the CDS tools when a best practice advisory (BPA) pops up during the rooming process 
for patients who meet the study eligibility criteria. We set a goal with providers and clinics staff to print 
the CDS tools at 75% or more of eligible encounters and sent clinic leaders frequent reports of clinic  and 
provider CDS print rates. We used outreach phone calls/emails to clinic leaders if print rates drop below 
goal. 
PCP and clinic staff training. All training activities for intervention clinics were conducted collaboratively 
with HealthPartners and Park Nicollet, and the research team. We conducted training sessions either in‐
person or through live or taped webinars. Training focused on workflow and enhancements made to the 
existing CDS to address CKD. Training was modeled after successful training programs conducted in 
previous studies. We also provided information about the study and interventions in online newsletters 
and communications.  
Mechanisms for collecting ongoing feedback from PCPs. Once the CKD‐CDS tool was implemented in the 
intervention clinics, PCPs or clinic staff with questions or concerns about any of the recommendations 
that display for an individual patient, were able to provide immediate feedback to the research team 
through a tab on the online CDS display or through emailing the study team. The feedback was sent 
automatically through an encrypted email to the research staff for triage. This process was used 
infrequently but was useful to identify and correct minor coding bugs, especially during the pilot phase.  
It also enabled research team clinicians to answer questions for providers who were confused or not 
knowledgeable about current evidence‐based CKD care recommendations. The research team provided 
a timely response to all providers who send feedback. The process was quite useful as a way to improve 
the accuracy of the CDS and to educate individual providers as needed. 
6.5 
CONCOMITANT THERAPY 
Not applicable 
 
6.5.1 RESCUE MEDICINE 

 
 
 
21 
Not applicable 
 
7 
STUDY INTERVENTION DISCONTINUATION AND PARTICIPANT 
DISCONTINUATION/WITHDRAWAL 
7.1 
DISCONTINUATION OF STUDY INTERVENTION 
This minimal risk study did not include specific halting rules.  The CDS suggestions were evidence‐based 
and guideline driven and providers are always advised to exercise their clinical judgement with any CDS 
suggestions.  However, safety monitoring meetings were held regularly to assess frequency of possible 
adverse events related to overtreatment (severe hypoglycemia, documented hypotension, abnormal 
potassium values, etc.) in all randomized clinics.   
 
7.2 
PARTICIPANT DISCONTINUATION/WITHDRAWAL FROM THE STUDY 
Providers and patients exposed to the clinical decision support can ignore or disregard any component 
of the intervention at their discretion. 
Patients who opt‐out of participating in research were excluded from outcomes analyses. 
 
7.3 
LOST TO FOLLOW‐UP 
Unless they opted out of research, all patients  who met study eligibility criteria and had an index visit in 
the accrual period were eligible for  inclusion in the analysis; inclusion in specific outcome analyses 
varied by the clinical care gaps that were present at the index visit.   
 
8 
STUDY ASSESSMENTS AND PROCEDURES 
8.1 
EFFICACY ASSESSMENTS  
 
The data used to evaluate the effectiveness of CKD‐CDS system on reducing 5 CKD care gaps will derive 
from the CKD‐CDS tool itself (e.g., care gaps present at index visit) or the electronic health record (e.g., 
CKD diagnosis, ACEI / ARB orders). There are no scheduled assessment visits from accrued patients. 
Rather, data elements that document study eligibility and care gaps at the index visit, and outcome 
events that occur in the 18 months following the index visit, will be recorded in these electronic 
resources as care is delivered to patients, with the timing of care delivery driven by clinician and patient 
judgment. This clinic‐based pragmatic trial will not direct the timing, manner or amount of care 
delivered to any accrued patient according to a pre‐defined schedule. 
  
 
8.2 
SAFETY AND OTHER ASSESSMENTS 
The CDS tool uses patient information in the electronic health record to apply evidence‐based methods 
to identify eligible patients, compute CV risks, prioritize CV risk reduction, compute medication 
adherence, identify results of adherence assessments and action plans, and provide treatment 
recommendations based on a complex set of evidence‐based algorithms. The study team has extensive 
experience in health services research and clinical research with human subjects, with procedures to 
safeguard privacy and personal information. See section 10.1.3 below on a detailed description of 
procedures put in place to assess and ensure safety of patient information. 

 
 
 
22 
Intervention adherence, defined as the rates at which CKD‐CDS was opened and printed at study‐eligible 
visits, was measured and monitored continuously during the study period and reported monthly to clinic 
leadership, as described above, despite a 6 month disruption due to the Covid‐19 pandemic. 
We used passive surveillance of electronic health record and administrative data sources maintained by 
HealthPartners to monitor the occurrence of safety events. These events included hypotension, 
hypoglycemia, electrolyte disturbances, emergency department visits, inpatient admissions for renal 
and non‐renal causes, major cardiovascular events and mortality. Benefits to this approach are that 
safety events were ascertained identically for all accrued patients in all randomized clinics. 
Documentation of the safety events occurred in the course of delivering health care, ensuring that 
records are reasonably accurate and complete with minimal and randomly missing information. Missing 
information due to events for which patients do not seek care or care that escapes documentation in 
the EHR was assumed to occur rarely and equally across treatment groups. 
 
 
8.3 
ADVERSE EVENTS AND SERIOUS ADVERSE EVENTS 
8.3.1 DEFINITION OF ADVERSE EVENTS (AE) 
AE means any untoward medical occurrence associated with the use of an intervention in humans, 
whether or not considered intervention‐related.  
 
 
8.3.2 DEFINITION OF SERIOUS ADVERSE EVENTS (SAE)  
An AE or suspected adverse reaction is considered "serious" if, in the view of either the investigator or 
sponsor, it results in any of the following outcomes: death, a life‐threatening adverse event, inpatient 
hospitalization or prolongation of existing hospitalization, a persistent or significant incapacity or 
substantial disruption of the ability to conduct normal life functions, or a congenital anomaly/birth 
defect. Important medical events that may not result in death, be life‐threatening, or require 
hospitalization may be considered serious when, based upon appropriate medical judgment, they may 
jeopardize the participant and may require medical or surgical intervention to prevent one of the 
outcomes listed in this definition. Examples of such medical events include severe hypoglycemia 
requiring intensive treatment in an emergency room or at home, hypotension, and electrolyte 
abnormalities.  
 
 
8.3.3 CLASSIFICATION OF AN ADVERSE EVENT 
8.3.3.1 SEVERITY OF EVENT 
The following guidelines will be used to describe severity of AEs that the study team learns about 
outside of the passive surveillance system.  
 
• 
Mild – Events require minimal or no treatment and do not interfere with the participant’s daily 
activities.  
• 
Moderate – Events result in a low level of inconvenience or concern with the therapeutic 
measures. Moderate events may cause some interference with functioning. 

 
 
 
23 
• 
Severe – Events interrupt a participant’s usual daily activity and may require systemic drug 
therapy or other treatment. Severe events are usually potentially life‐threatening or 
incapacitating.  Of note, the term “severe” does not necessarily equate to “serious”. 
 
8.3.3.2 RELATIONSHIP TO STUDY INTERVENTION 
AEs that the study team learns about outside of the passive surveillance system will have their 
relationship to study intervention assessed by the clinician who examines and evaluates the situation 
based on temporal relationship and his/her clinical judgment. The degree of certainty about causality 
will be graded using the categories below.  
 
• 
Related – The AE is known to occur with the study intervention, there is a reasonable possibility 
that the study intervention caused the AE, or there is a temporal relationship between the study 
intervention and event. Reasonable possibility means that there is evidence to suggest a causal 
relationship between the study intervention and the AE. 
• 
Not Related – There is not a reasonable possibility that the administration of the study 
intervention caused the event, there is no temporal relationship between the study intervention 
and event onset, or an alternate etiology has been established. 
 
8.3.3.3 EXPECTEDNESS  
An AE will be considered unexpected if the nature, severity, or frequency of the event is not consistent 
with the risk information previously described for the study intervention. 
8.3.4 TIME PERIOD AND FREQUENCY FOR EVENT ASSESSMENT AND FOLLOW‐UP 
 
We accessed the electronic health records and administrative data of all patients who accrued to this 
pragmatic trail in the course of preparing for regularly scheduled data safety monitoring meetings. We 
extracted data elements that documented the occurrence of any of the safety events (e.g., diagnosis 
codes, laboratory value, admission records) between 12 months prior to each accrued patient’s index 
visit and 18 months after the index visit of the last‐accrued patient. The rates at which each event 
occurred (e.g., events per 100 patient‐years) were calculated in the pre‐ and post‐index periods by 
randomized treatment group so that differential changes in event rates might be observed. Event rate 
summaries were presented at data safety monitoring meetings approximately thrice‐yearly. By their 
very nature, the occurrence of these safety events had been documented by health care professionals in 
the course of delivering timely treatment and appropriate follow‐up to the accrued patients.  
 
The occurrence of an AE or serious adverse event (SAE) may also come to the attention of project team 
members during patient and provider survey results. These AEs not meeting the criteria for SAEs will be 
captured on the appropriate report forms. Information to be collected includes event description, time 
of onset, clinician’s assessment of severity, relationship to study procedures (assessed only by those 
with the training and authority to make a diagnosis), and time of resolution/stabilization of the event. 
All AEs occurring while on study will be documented appropriately regardless of relationship. All AEs will 
be followed to adequate resolution.  
 
Changes in the severity of an AE will be documented to allow an assessment of the duration of the event 
at each level of severity. AEs characterized as intermittent require documentation of onset and duration 
of each episode.  
 

 
 
 
24 
The project manager, in collaboration with the PI will record all reportable events with start dates 
occurring any time after inclusion into the study population until 7 (for non‐serious AEs) or 30 days (for 
SAEs) after the last day of study participation.  Events will be followed for outcome information until 
resolution or stabilization. 
 
 
8.3.5 ADVERSE EVENT REPORTING  
According to the HealthPartners Institute IRB policies, investigators must report the specified adverse 
events or issues to the IRB as soon as possible, but in no event later than 10 working days after the 
investigator first learns of the event. Investigators or the project team must report possible problems or 
issues with the research to the IRB Office in writing using the Unanticipated Problem/Serious Adverse 
Event Form. The written report should contain the following: Detailed information about the event or 
issue, including relevant dates; Any corrective and preventative actions, planned or already taken, to 
ensure that the issue or problem is corrected and will not occur again; An assessment of whether any 
subjects or others were placed at risk as a result of the event or suffered any harm (e.g., physical, social, 
financial, legal or psychological) and any plan to address these consequences. 
 
8.3.6 SERIOUS ADVERSE EVENT REPORTING  
The study investigator shall complete a written report and submit to the study sponsor and to the 
reviewing Institutional Review Board (IRB) as soon as possible, but in no event later than 10 working 
days after the investigator first learns of the event. 
 
8.3.7 REPORTING EVENTS TO PARTICIPANTS  
Participating clinics will be informed of AEs and SAEs through communication with the clinic and 
healthcare group leadership and providers. Although unlikely, if specific patients are affected or at risk, 
they will be contacted through their routine patient communication channels and through their 
providers. 
 
8.3.8 EVENTS OF SPECIAL INTEREST  
Not applicable 
 
 
 
8.3.9 REPORTING OF PREGNANCY  
Pregnancy is an exclusion criteria for the study. However, reporting is not warranted as there is no direct 
harm anticipated from the study. 
 
8.4 
UNANTICIPATED PROBLEMS 
8.4.1 DEFINITION OF UNANTICIPATED PROBLEMS (UP) 
The Office for Human Research Protections (OHRP) considers unanticipated problems involving risks to 
participants or others to include, in general, any incident, experience, or outcome that meets ALL of the 
following criteria: 
 
• 
Unexpected in terms of nature, severity, or frequency given (a) the research procedures that are 
described in the protocol‐related documents, such as the IRB‐approved research protocol and 

 
 
 
25 
informed consent document; and (b) the characteristics of the participant population being 
studied; 
• 
Related or possibly related to participation in the research (“possibly related” means there is a 
reasonable possibility that the incident, experience, or outcome may have been caused by the 
procedures involved in the research); and 
• 
Suggests that the research places participants or others at a greater risk of harm (including 
physical, psychological, economic, or social harm) than was previously known or recognized. 
 
8.4.2  UNANTICIPATED PROBLEM REPORTING  
The investigator will report UPs to the reviewing IRB and to HealthPartners Institute. The UP report will 
include the following information: 
• 
Protocol identifying information: protocol title and number, PI’s name, and the IRB project 
number; 
• 
A detailed description of the event, incident, experience, or outcome;  
• 
An explanation of the basis for determining that the event, incident, experience, or outcome 
represents an UP;  
• 
A description of any changes to the protocol or other corrective actions that have been taken or 
are proposed in response to the UP. 
 
To satisfy the requirement for prompt reporting, UPs will be reported using the following timeline:   
• 
UPs that are SAEs will be reported to the IRB and to the study sponsor within 5 days of the 
investigator becoming aware of the event.  
• 
Any other UP will be reported to the IRB and the study sponsor within 10 working days of the 
investigator becoming aware of the problem.  
• 
All UPs should be reported to appropriate institutional officials (as required by an institution’s 
written reporting procedures), the supporting agency head (or designee), and the OHRP within 1 
month of the IRB’s receipt of the report of the problem from the investigator. 
 
 
8.4.3 REPORTING UNANTICIPATED PROBLEMS TO PARTICIPANTS  
Participating clinics will be informed of UPs through communication with the clinic and healthcare group 
leadership and providers. Although unlikely, if specific patients are affected or at risk, they will be 
contacted through their routine patient communication channels and through their providers. 
 
 
9 
STATISTICAL CONSIDERATIONS  
9.1 
STATISTICAL HYPOTHESES 
 
Hypothesis 1: Among patients with antecedent eGFR evidence of stage 3‐4 CKD, those with an index 
visit at a CKD‐CDS intervention clinic will have significantly higher rates of provider‐diagnosed CKD in the 
18 months after the date of the index visit, compared with similar patients with an index visit at a UC 
clinic. 
Hypothesis 2: Among patients with antecedent eGFR evidence of stage 3‐4 CKD who also have 
diagnosed hypertension or UMACR >=30 mg/g, those with an index visit at a CKD‐CDS intervention clinic 
will have significantly higher rates of ACEI or ARB use 18 months after the date of the index visit, 
compared with similar patients with an index visit at a UC clinic. 

 
 
 
26 
Hypothesis 3: Among patients with antecedent eGFR evidence of stage 3‐4 CKD who have diagnosed 
hypertension, those with an index visit at a CKD‐CDS intervention clinic will have significantly higher 
rates of recommended BP control 18 months after the index visit date, compared with similar patients 
with an index visit at a UC clinic. 
Hypothesis 4: Among patients with antecedent eGFR evidence of stage 3‐4 CKD who also have 
diagnosed diabetes at an index visit, those with an index visit at a CKD‐CDS intervention clinics will have 
significantly higher rates of recommended glucose control 18 months after the date of the index visit, 
compared with similar patients with an index visit at a UC clinic. 
Hypothesis 5: Among patients with eGFR laboratory evidence of stage 3b (eGFR 30‐44 ml/min/1.73 m2) 
CKD and UMACR >30 mg/g, or patients with stage 4 (eGFR 15‐29 ml/min/1.73 m2) CKD, those with an 
index visit at a CKD‐CDS intervention clinic will have significantly higher rates of consultation with 
nephrology 18 months after index visit, compared with similar patients with an index visit at a UC clinic. 
 
The operational definitions of the outcomes associated with Hypothesis 1‐5 are summarized below. 
 
outcome 
description 
operational definition 
H1: CKD recognition   CKD documented in the 
electronic health record 
ICD‐10 codes N18.3, N18.4, N18.5, N18.6, 
N18.9 at an inpatient or outpatient encounter, 
or added to the problem list, on index date 
through 18 months post‐index 
H2: ACEI / ARB use  
ACEI / ARB current post‐
index 
ACEI / ARB orders with start date or end date 
on index date through 18 months post‐index 
H3: Blood pressure 
control  
post‐index BP at goal  
in 18 months post‐index, average of up to two 
most recent SBP<130; and average up to two 
most recent DBP<80  
H4: Glucose control 
post‐index A1c at goal 
most recent A1c<7% in 1 to 18 months post‐
index 
H5: Nephrology 
referral 
nephrology referral 
referral to or completed visit with nephrologist, 
on index date through 18 months post‐index 
 
 
9.2 
SAMPLE SIZE DETERMINATION 
We conducted an a priori power analysis for each of the 5 outcome measures to estimate the minimum 
detectable difference in each given assumptions about analytic sample size, proportions of patients 
meeting outcome criteria, and intra‐class correlations, all estimated from 2015‐2016 HPMG pilot data of 
patients meeting categories for stage 3‐4 CKD. The correlated sample of CKD patients within clinics was 
reduced to an equivalently sized independent patient sample by dividing the anticipated sample size by 
the design effect introduced by clustering within clinics [Neff pt = N / [1 + (nclus‐1)ICCclin]. For the BP 
control outcome, the correlated BP sample size (M=Neff pt * m outcomes per patient) was adjusted to 
account for clustering within patients [Neff obs = M / [1+ (mclus‐1)ICCpt]. Based on the effective sample 
sizes, we estimated the minimum proportion of CKD‐CDS relative to UC patients meeting criteria for 
each outcome at 12 m that would be powered to reach statistical significance (power=.80, α2=.05). 
Table 2 summarizes for each outcome the sample size, mean and intra‐class correlation calculated from 
HPMG pilot data; the data‐informed assumptions used in the power analyses; and the minimum 

 
 
 
27 
detectable and clinically meaningful differences among CKD‐CDS versus UC patients. Power analysis 
assumptions were either consistent with or more conservative than pilot estimates. For each outcome, 
the minimum statistically detectable difference is smaller than the clinically meaningful difference, even 
under these relatively conservative assumptions. For example, the H1 analysis is powered to detect 
increases in diagnosis rates of 5.8%‐11.1% among CKD‐CDS relative to UC patients, a difference that is 
notably smaller than the 20% increase that would represent significant clinical improvement and should 
be attainable with the CKD‐CDS intervention. 
Table 2. Summary of descriptive statistics calculated from HPMG pilot data, key power analysis 
assumptions, and minimum detectable difference in 12‐month post‐index outcomes among CKD‐CDS 
relative to UC patients for Hypothesis 1 to 5 outcomes. 
 
CKD Dx 
ACEI / ARB 
BP < 140/90 
BP < 130/80 
A1c <8 
A1c <7 
Neph 
referral 
 
HPMG pilot data estimates  
Na 
10175 
9012 
8975 
8975 
3191 
3191 
1161 
M (%) 
52.9 
54.6 
70.4 
43.3 
79.7 
48.7 
37.8 
ICCclin 
.027 
.003 
.004 
.004 
0 
.003 
0.063 
ICCpt 
 
 
.28 
.26 
 
 
 
 
Power assumptions 
M (%) 
50‐60 
50‐60 
70‐80 
40‐50 
75‐85 
40‐50 
30‐40 
ICCclin 
.01‐.05 
.001‐.01 
.001‐.01 
.001‐.01 
.001‐
.01 
.001‐
.01 
.05‐.10 
ICCpt 
 
 
.25‐.35 
.25‐.35 
 
 
 
 
Minimum detectable and clinically meaningful differences (%) 
detectable 
5.8‐11.1 
3.4‐5.7 
3.2‐7.1 
4.3‐8.4 
3.5‐5.9 
5.2‐7.0 
13.5‐17.9 
meaningful 
20 
10 
10 
10 
10 
10 
20 
a estimated from number eligible in 17 HPMG clinics, prorated to 30 clinics assuming 13 similarly sized 
PN clinics 
 
Pilot data from 2015‐2016 primary care visits at 17 HPMG clinics found N=5766 adult patients aged 18‐
80 who had laboratory evidence of stage 3‐4 CKD in 2015 and at least 1 post‐index follow‐up visit 
(median=5) before the end of 2016. PN primary clinics are similar in size and patient characteristics, 
suggesting a prorated N≈10,175 eligible CKD patients, including data from 13 additional PN clinics. We 
anticipate about 6% disenrollment from the medical group per year and about 2% per year to die. Very 
few patients switch from one clinic to another within HPMG or PN, and our algorithms accurately match 
over 95% of patients to a single PCP. In sum, we expect that data from a robust sample of patients with 
CKD will be available for testing Hypotheses 1‐5. We will retrospectively retrieve the minimal necessary 
set of clinical information for conducting primary analyses as a limited dataset from the data repository 
that supports CKD‐CDS operations. 
 
9.3 
POPULATIONS FOR ANALYSES 
Individuals who meet all study wide inclusion and exclusion criteria at an index visit as described in 
Section 5 will be considered for inclusion in the primary analyses. Study‐eligible patients will be included 
in the Hypothesis 1 through 5 according to the care gaps, defined in Section 5.1 , that are present at the 
time of their index visit.  
 
 

 
 
 
28 
9.4 
STATISTICAL ANALYSES 
9.4.1 GENERAL APPROACH 
All 5 hypotheses quantify the extent to which the CKD‐CDS intervention relative to UC reduces deficits in 
measures of CKD care. Each will be defined as a single outcome based on data accrued in the 18 months 
after each patient’s index visit. For all 5 measures, it is expected that the CKD‐CDS intervention will 
positively impact the quality of care delivered to eligible patients with CKD. 
9.4.2 ANALYSIS OF THE PRIMARY EFFICACY ENDPOINT(S) 
9.4.2.1. Analysis plan. All hypotheses will be tested using random coefficients models in which each 
binary post‐index outcome (e.g., recognition in 18m) will be predicted via a link function from a fixed 
clinic‐randomized treatment group predictor, Ƴ10; fixed clinic predictors for characteristics balanced at 
randomization, Ƴ*0; a fixed pre‐index outcome status where appropriate, Ƴ01; and a random clinic 
intercept, Vj, such as:  
logit(BP<130/80 18mji) = Ƴ00 + Ƴ10CKD‐CDSj + Ƴ*0balancingj + Ƴ01 SBP indexi + [Vj]. 
Parameter Ƴ10 is expected to be positive and statistically significant, indicating that patients in clinics 
randomly assigned to receive the CKD‐CDS intervention are more likely to meet CKD recognition (H1), 
ACEI / ARB use (H2), BP control (H3), A1C control (H4) and nephrology referral (H5) thresholds in the 18 
months post‐index than patients in UC clinics, accounting for random variation across clinics and their 
own pre‐index status on these outcomes. 
The difference in predicted likelihoods of meeting each of the 5 outcomes through 18 months post‐
index will be estimated via planned contrasts and reported for ease of interpretation. 
Secondary outcomes may be calculated using different thresholds (e.g., A1c<8) or treated as continuous 
variables (e.g., SBP in mm Hg) with adaptations made to the analysis models as necessary (e.g., identity 
link). Secondary analyses may include assessing (a) rates of treatment intensification among patients not 
at their BP or glucose goals, (b) variation in CKD treatment patterns across PCPs, (c) treatment effect 
heterogeneity, (d) intervention costs, (e) rate of occurrence and time to major CV events, and (e) rate of 
occurrence and time to hospital admissions or emergency department visits by eligible study subjects by 
treatment arm. We may also assess the impact of the CKD‐CDS on NSAID use and medication adherence 
and treatment heterogeneity across demographic and racial groups. 
9.4.2.2. Key Covariates. A key covariate in the H1‐H5 hypothesis tests will be a binary indicator to denote 
whether the clinic in which the patient is seen was randomly assigned to the CKD‐CDS intervention or 
the UC arm of the study. A second, pertinent to H3, quantifies the amount of time elapsed between the 
index visit and each measured BP. This covariate will be coded as (days since index/365) so that it 
quantifies the predicted annual change in BP control. Similarly, should the time elapsed between index 
and the last observed A1C differ by treatment group, log (time elapsed) may be included as an offset in 
the H4 analysis. Index CKD stage may be an important modifier of the CKD‐CDS intervention. Stage 3‐4 
CKD will be defined based on the eGFR of 15‐59 cc/min/1.73m2 on the most recent eGFR test before the 
date of an index visit (stage 3a = 45‐59, stage 3b = 30‐44, stage 4 = 15‐29), plus 1 or more antecedent 
eGFR values <60 cc/min/1.73m2. Several other measures merit consideration as either secondary 
outcomes or as mediators or moderators of the primary analyses. These include (a) number of PCP 
patient encounters, (b) patient characteristics, including demographics and pre‐intervention clinical 

 
 
 
29 
values and comorbidities (ICD‐10 diagnosis codes and problem lists), and (c) PCP variation in baseline 
measures of CKD care.  
9.4.2.3. Missing data. Data elements required for calculating the primary outcomes are extracted from 
EHR production tables. The absence of documentation of a care process, vital sign, or medication should 
not be interpreted as a missing value but rather as indicative of a care process or test not having been 
performed or medication not prescribed within the health system. Truly missing observations (eg, 
systolic BP measured, value not available) will be extremely rare, undetectable and assumed to be 
missing at random (MAR). The estimation techniques used in random coefficient models readily 
accommodate structural variation across observations in the amount of data present (eg, patients per 
clinic) and lead to unbiased parameter estimates and accurate standard errors when data are MAR. 
9.4.3 ANALYSIS OF THE SECONDARY ENDPOINT(S) 
Not applicable 
 
9.4.4 SAFETY ANALYSES 
Trends in safety concerns for subjects will also be followed as indicated by the Data Safety and 
Monitoring plan outlined in the safety oversight section below.  
 
 
9.4.5 BASELINE DESCRIPTIVE STATISTICS 
Patient Characteristics. For each study subject, we document the following from EHR and/or health plan 
data sources: demographics (e.g., age, gender, race,  ethnicity, insurance type, primary language, use of 
interpreter), vital signs (e.g., all BP values), height, weight, body mass index (kg/m2), laboratory values 
(including all serum creatinine, eGFR, electrolyte, and other renal function‐related tests), medications 
prescribed (based on EHR prescribing data), and medication prescriptions filled (based on claims data). 
We calculate the ACC/AHA 10‐year CVD risk score at defined time points (pre‐index visit, at index visit, 
at follow‐up visits).80 Adjustment for patient covariates may be necessary because randomization is 
done at the clinic level, and patient‐level data may therefore exhibit random as well as selection‐
induced covariate imbalance. Because they are drawn from EHR and/or health plan records rather than 
patient surveys, these data elements will be of high quality and available for virtually all subjects.   
Provider Characteristics. We will have complete data for a limited set of provider characteristics, 
including age, years since graduation, gender, full‐time versus part‐time work status, physician versus 
allied provider (eg, nurse practitioner), specialty board certification status, employment years, and 
number and proportion of patients with CKD by CKD stage. Provider characteristics may be considered 
covariates or moderators to estimate the differential strength of the intervention across different kinds 
of providers. 
9.4.6 PLANNED INTERIM ANALYSES  
Not Applicable 
 
9.4.7 SUB‐GROUP ANALYSES 
Several measures merit consideration as mediators or moderators of the primary analyses. These 
include (a) number of PCP patient encounters, (b) patient characteristics, including demographics and 
pre‐intervention clinical values and comorbidities (ICD‐10 diagnosis codes and problem lists), and (c) PCP 

 
 
 
30 
variation in CKD care at baseline.  Assessment of heterogeneity of treatment effects based on pre‐
specified subgroups of patients will incorporate a factor (e.g. sex) and its interaction with treatment arm 
in mixed models. 
 
9.4.8 TABULATION OF INDIVIDUAL PARTICIPANT DATA 
Individual participant data will not be listed by measure and time point. 
 
9.4.9 EXPLORATORY ANALYSES 
We may examine the clinical impact of the CKD‐CDS on the following: (1) non‐aspirin NSAID use, (2) 
medication adherence, (3) provider behaviors such as treatment intensification among patients not at 
their BP or glucose goals, and CKD treatment patterns across primary care physicians (PCPs) (5) Rates of 
hypotension, hypoglycemia, electrolyte disturbances, emergency department visits, hospital admissions 
for renal and non‐renal causes, major cardiovascular events, and mortality as deemed necessary per the 
data safety and monitoring plan.  
10 SUPPORTING DOCUMENTATION AND OPERATIONAL CONSIDERATIONS 
10.1 REGULATORY, ETHICAL, AND STUDY OVERSIGHT CONSIDERATIONS 
10.1.1 INFORMED CONSENT PROCESS 
10.1.1.1 CONSENT/ASSENT AND OTHER INFORMATIONAL DOCUMENTS PROVIDED TO 
PARTICIPANTS 
A waiver of patient consent was requested and granted by the IRB for the following reasons:  
a) All CKD‐related treatment recommendations included in the CKD‐CDS algorithms are evidence‐based, 
as specified in national evidence‐based clinical guidelines, and no care is advocated that is not evidence‐
based. Thus, the care recommendations conform to current standard of care and ought not represent 
any additional risk to patients beyond the routine risk that all patients assume whenever they have 
contact with the medical care system.  
(b) The intervention identifies any current treatments that are potentially unsafe to the patient, which is 
of minimal risk to possible benefit to each patient at each visit during the study period.  
(c) At intervention clinic training sessions and on every printed decision support screen and printed 
sheet, we emphasize that it is inappropriate for a PCP to implement suggested treatment 
recommendations without further checking the clinical status of a given patient.  
(d) It would be impractical to consent patients (due to large numbers of patients and the intensity of 
clinic workflow) and impossible to answer the primary research questions (due to selection effects 
related to consent) if written informed consent of patients were required.  
We are also received a waiver of informed consent for PCPs using the CKD‐CDS tool for reasons (a), (b) 
and (c) above as well as the following reason(s): (d) the CDS tool, upon which the expansion to include 
CKD‐CDS will be done for this study, is currently being used as part of standard care at HP and PN.  
Consent will be obtained from providers who agree to be interviewed as part of the evaluation of the 
CDS tools, and the consent form and consenting process was reviewed and approved by the IRB. 
 
In addition to the internal HealthPartners Institute policies, Health Insurance Portability and Accountability 
Act (HIPAA) itself makes specific provision for waiver of authorization to use PHI for research recruitment 
purposes under some specific conditions, all of which this study meets81.  
 

 
 
 
31 
At HealthPartners Medical Group, patients can opt out of use of their data for research. HealthPartners 
Institute keeps a record of the small number of individuals who have opted out to avoid use of their 
data or attempts to recruit them into studies. We will exclude patients who have declined permission 
for their medical records to be used in research. 
 
10.1.1.2 CONSENT PROCEDURES AND DOCUMENTATION 
Not‐applicable. 
10.1.2 STUDY DISCONTINUATION AND CLOSURE 
This study may be temporarily suspended or prematurely terminated if there is sufficient reasonable 
cause. Written notification, documenting the reason for study suspension or termination, will be 
provided by the suspending or terminating party to participating clinics, investigators, study team 
members and the funding agency. If the study is prematurely terminated or suspended, the Principal 
Investigator (PI) will promptly inform participating clinics, the Institutional Review Board (IRB), and 
sponsor and will provide the reason(s) for the termination or suspension.  
 
Circumstances that may warrant termination or suspension include, but are not limited to:  
• 
Determination of unexpected, significant, or unacceptable risk to participants  
• 
Demonstration of efficacy that would warrant stopping  
• 
Insufficient compliance to protocol requirements  
• 
Data that are not sufficiently complete and/or evaluable  
• 
Determination that the primary endpoint has been met  
• 
Determination of futility  
 
Study may resume once concerns about safety, protocol compliance, and data quality are addressed, 
and satisfy the sponsor and IRB. 
 
10.1.3 CONFIDENTIALITY AND PRIVACY  
In order to ensure patient confidentiality, we need to print the name of the patient on the CDS tools 
that are printed and given to the patient and their PCP at the time of a clinic visit. Because more than 
one nurse‐PCP team may use the same printer, names are required to avoid mixing up printed materials 
and giving PHI to the wrong patient. It is also desirable to have each patient’s name on this sheet of 
paper to ensure the patient knows that the information on the paper is personalized and related to his 
or her own health state.  
Although used for CDS display, patient names are scrubbed from the data nightly. The remaining data is 
retained in the operational data store for 2 weeks for immediate trouble shooting. Later, if needed for 
approved research, the data is moved to an analytic database with minimal access. With respect to the 
analytic databases, the following measures will be taken to protect PCPs and patients from the risk of 
breach of confidentiality: The patient name is not retained within the analytic database. A unique study 
ID code unrelated to the medical record number or other study subject‐specific information will be 
assigned to each patient at the index visit (first visit in the intervention period). The study ID is used to 
link data from patient encounters over time and various data sources that are needed for analysis. A 
crosswalk table linking this code number to a PCP or patient name or medical record number will be 
destroyed within 12 months after completion of the linked databases needed to test study hypotheses. 
Several measures are in place to ensure security of protected health information in the EHR‐linked data 
repository (Web service), Figure 3. Data transfer to the Web service uses a Simple Object Access 

 
 
 
32 
Protocol (SOAP) with Secure Sockets Layer (SSL) encryption over a Hypertext Transfer Protocol Secure 
(HTTPS) computer network. There is a double firewall in the Web service so that, once the data flow 
through the initial Web service firewall, the data cross another firewall into a new secure pathway that 
once again employs SOAP, SSL, and HTTPS to process the data. This includes sending the data through a 
batch server for more efficient processing but all within the double‐firewall Web service.  
Figure 3: Data Flow for CKD‐CDS intervention 
 
 
In compliance with HIPAA regulations81, no PHI will be shared outside of the affiliated covered entities  
 (ACE) without obtaining a data use agreement or business associates agreement. As part of the ACE, 
researchers at the Institute are able to use HealthPartners medical records data for purposes such as 
those in this study in compliance with HIPAA regulations (i.e., following the concept of “minimally 
necessary” use of PHI). 
The study team has extensive experience in health services research and clinical research with human 
subjects, with procedures to safeguard privacy and personal information. All study records are protected 
by: 
• Locked storing all paper records in a secure location 
• Use of untraceable study ID numbers instead of names wherever possible 
• Password protection as well as firewalls 
• Strong user login authentication on all electronic devices 
• Physical security for all electronic devices containing personal information 
 
Data will be retained in secure storage following the completion of the study in accordance with 
Minnesota and federal law. We guard against the potential for breach of subject confidentiality through 
a multi‐layered system of data protection policies, processes, staff training, software safeguards and 
physical security measures for both paper and electronic data involved in research. 

 
 
 
33 
The following measures will be taken to protect subjects from the risk of breach of confidentiality:  
• A unique person identifier unrelated to the medical record number or other study subject‐
specific information will be assigned to each patient study subject to protect patients from the 
risk of breach of confidentiality in the analytic datasets 
• A file containing a link between the study ID and individually identifying information will be 
maintained at by a programmer who is member of the study team through the conclusion of the 
study.  
• A cross‐walk table linking the study ID to a patient identity will be destroyed within 12 months 
after the linked databases needed to test study hypotheses are completed.  
• All electronic study data will be maintained in a computerized database residing on a 
username‐ and password‐protected file‐server to which only the researchers involved in the 
study will have access.  
• All study‐related paper documents containing individually identifiable information will be 
maintained in locked file cabinets. 
Certificate of Confidentiality:  
To further protect the privacy of study participants, a Certificate of Confidentiality will be issued by NIH. 
This certificate protects identifiable research information from forced disclosure. It allows the 
investigator and others who have access to research records to refuse to disclose identifying 
information on research participation in any civil, criminal, administrative, legislative, or other 
proceeding, whether at the federal, state, or local level. By protecting researchers and institutions from 
being compelled to disclose information that would identify research participants, Certificates of 
Confidentiality help achieve the research objectives and promote participation in studies by helping 
assure confidentiality and privacy to participants. 
 
10.1.4 FUTURE USE OF STORED SPECIMENS AND DATA  
Data collected for this study will be analyzed and stored at the HealthPartners Institute. Data used by 
the CDS is stored at an operational data bank for 2 weeks for immediate trouble shooting. Later, if 
needed for approved research, the data is purged of patient names and moved to an analytic database 
with minimal access. After the study is completed, a completely de‐identified, archived data set may be 
transmitted to and stored for use by other researchers outside of the study team. 
 
10.1.5 KEY ROLES AND STUDY GOVERNANCE 
Principal Investigator 
Project Manager 
JoAnn M. Sperl‐Hillen, MD  
Senior Clinical Investigator 
Kris Ohnsorg 
Research Project Manager 
HealthPartners Institute 
HealthPartners Institute 
8170 33rd Ave S 
Mail Stop 23301A 
Bloomington, MN 55425 
8170 33rd Ave S 
Mail Stop 23301A 
Bloomington, MN 55425 
952‐967‐5009 
952‐967‐5011 
joann.m.sperlhillen@healthpartners.com  kris.ohnsorg@healthpartners.com 
Other Team Members 
Co‐Investigators 
 Patrick O’Connor, Malini DeSilva 
Statistics and Data Management 
Lauren Crain 
Application Development 
Deepika Appana 

 
 
 
34 
Consultants 
Areef Ishani, MD, MS is the Director of Primary Care and Specialty Medicine at the Minneapolis 
Veterans Affairs HealthCare System Center and Professor of Medicine at the University of Minnesota. He 
is an active investigator in research involving CKD epidemiology, dialysis outcomes, and validity of the 
eGFR formula in populations based on race, gender, and age. He has experience implementing CDS 
systems within the primary care setting, specifically addressing the referral process between primary 
care and nephrology. As a consultant on this project, he will serve as member of Nephrology and 
Primary Care Advisory Group and will participate in regular meetings in all three years of the study.  
James Wetmore, MD, MS is a general nephrologist practicing at Hennepin County Medical Center 
(HCMC), a level 1 trauma center based in Minneapolis, Minnesota, and the Medical Director at the 
HCMC Parkside Nephrology Clinic. His expertise includes CKD and maintenance dialysis with special 
emphasis on acute dialysis modalities such as continuous renal replacement therapy. He is also the 
Medical Director for Nephrology Research with the Chronic Disease Research Group at HCMC where he 
specializes in observational research utilizing large administrative databases to investigate the 
association of CV outcomes in chronic dialysis patients. As a consultant on this project, he will serve as 
member of Nephrology and Primary Care Advisory Group and will participate in regular meetings in all 
three years of the study.  
Nephrology and Primary Care Advisory Group 
The study has a team of nephrologists and primary care physicians as well as leaders from the HPMG 
who are involved in the oversight of the trial from the development phase all the way to the close of the 
trial and the analysis and publishing of findings. Their involvement is through email consultations as well 
as participating in meetings. 
10.1.6 SAFETY OVERSIGHT 
David Gilbertson, Ph.D is the safety officer for the study. Dr. Gilbertson is the co‐director of the Chronic 
Disease Research Group and Director of Epidemiology and Biostatistics at Hennepin Healthcare Research 
Institute in Minneapolis, and an associate professor of Medicine at University of Minnesota. He has prior 
experience with renal research and Data Safety Monitoring Board (DSMB) work (he is on the DSMB for 
Technology Assisted Stepped Collaborative Care Intervention to Improve Patient‐Centered Outcomes in 
Hemodialysis patients (TASCCI),” and has a long track record of important publications in the CKD field. 
Dr. Gilbertson was approved by our project officer for this position. 
Meetings of the PI, the project team, and the safety officer will occur twice a year and follow NIH 
guidelines on conduct of such meetings, with a formal report describing the content of each meeting 
and the data reviewed. We will invite a representative of the funding agency, NIDDK, to participate via 
conference call at these formal meetings.  
The safety officer will provide input and guidance on the study evaluation and intervention protocols, 
including quality assurance and safety issues related to the protocols and intervention strategy, as well 
as data handling activities. The safety officer will also provide periodic input and feedback related to 
study recruitment and retention rates, study eligibility determination issues, data completion rates, and 
adverse events via email, conference calls, and formal meetings every 6 months.  
A special focus of interest will be the safety of patients exposed to the study intervention. The 
intervention supports more thorough identification of individual patients with stage 3‐4 CKD and 
suggests to both patient and PCP evidence‐based treatment options that have been shown in 
randomized trials to reduce progression of renal disease and/or reduce the occurrence of heart attacks 
and strokes. Any such care recommendations, if implemented, are delivered through usual care 

 
 
 
35 
channels using pharmacotherapies openly available in medical group formularies for FDA‐approved 
indications only. Each study PCP has complete freedom to treat or not treat a given patient with 
whatever therapy the physician believes is best for that patient. Adverse‐events information will be 
monitored using EHR data at a frequency determined by the safety officer and may include identification 
of electrolyte abnormalities and emergency department or hospital admissions related to syncope, 
hypotension, or hypoglycemia. Rates of monitored events will be compared in intervention and usual 
care clinics, and any significant differences will be promptly reported in writing to the NIH and to the 
HealthPartners IRB, consistent with NIH and HealthPartners IRB policy. We have budgeted funds for the 
safety officer but have not recruited a specific individual for this position. Consistent with NIH and 
HealthPartners Institute policy, the Safety Officer will not be affiliated with HealthPartners, HPMG, or 
PN. 
 
10.1.7 CLINICAL MONITORING 
Not applicable 
 
10.1.8 QUALITY ASSURANCE AND QUALITY CONTROL 
Quality control (QC) procedures will be implemented beginning with the data capture system and data 
QC checks that will be run on the database will be generated. Any missing data or data anomalies will be 
communicated to application and epic development team for clarification/resolution. 
The HealthPartners Institute will provide direct access to all trial related clinics, source data/documents, 
and reports for the purpose of monitoring and auditing by the sponsor, and inspection by local and 
regulatory authorities. 
 
10.1.9 DATA HANDLING AND RECORD KEEPING  
10.1.9.1 DATA COLLECTION AND MANAGEMENT RESPONSIBILITIES  
Data Collection during the Development of the CKD CDS Tool 
The development phase of the study will include an iterative process of developing the CKD‐CDS tool 
and laying the groundwork for intervention implementation. This phase will involve algorithm 
development, programming, testing, feedback seeking and incorporation into the prototype and will 
culminate with pilot testing at 1‐2 clinics. Part of the feedback seeking will involve in‐depth video 
interviews with providers with the objective of qualitatively exploring how providers perceive the 
interface of the newly developed CKD‐CDS and to determine which critical features, functions and 
evidence are needed to transform the CKD‐CDS prototype into a functional tool. We will also do 
preliminary data pulls and chart reviews. 
In‐depth interviews 
i. Process steps for identification of providers: We will use the providers currently involved in the 
study to get suggestions of providers that we can reach out to. We will also use the list of health 
care providers in the HPMG and PN provider databases who are current users of the CV Wizard. 
ii. Recruitment: Using convenience sampling strategy, we will reach out to primary care providers and 
specialists involved in caring for patients with CKD in the HPMG and PN. We will initially target about 
8 providers but will continue the interviews until saturation is reached82.  
iii. Consent: For providers to be interviewed to assess the CDS design or experience, written informed 
consent will be sought. IRB approved consent form and a cover letter will be sent by email/fax to 
potentially eligible PCPs, and they will have several weeks to study the forms, call research team 

 
 
 
36 
investigators (Dr. Kumar or Dr. Sperl‐Hillen) with any questions or for clarifications, and sign and 
return the written informed consent form if they wish to voluntarily participate in the interviews. 
Providers who agree to participate in the video interviews will be given a gift card worth $100 via 
email or have $100 added to their paycheck after the interview. 
iv. Interview process: An experienced interviewer and a user interface/ user experience engineer will 
facilitate the video interview using a GoPro camera and a semi‐structured interview guide 
(attached). The interview guide will be pilot tested with 2 physicians and a project manager to 
ensure that the questions are clear and well understood. Each interview session will last 
approximately 30‐45 minutes. We will first begin with a general discussion about the participants’ 
baseline understanding of CDS tools and their perception on barriers and facilitators to using CDS 
tools in the context of their own practice. We believe that it would be helpful to get unbiased 
feedback about physician attitude towards use of CDS tools prior to introducing them to the CKD‐
CDS tool. After that, we will ask participants questions relating to the CKD‐CDS tool. The 
programmer will take the provider through the tool using a test patient. The interviews will be audio 
or video recorded with the consent of the participants and transcribed verbatim. Analysis will 
involve a continuous iterative process whereby data from the interviews will be re‐examined and 
identified concepts will be explored in subsequent interviews. The analysis will be cumulative and 
iterative building on the discussions from previous interviews (for example, interview questions and 
the CKD prototype design will be modified and refined for subsequent interviews) until themes 
reach saturation. 
Preliminary data analysis and chart reviews 
During the pilot test and throughout the patient accrual period of the intervention, we will perform 
preliminary data pulls and chart reviews of no more than 1% of the patients to assess the functioning of 
the CKD‐CDS tool and the effect of the tool on patient care. We will also do chart audits in response to 
patient and provider feedback sent via the feedback tab found in the online version of the CKD‐CDS tool 
to assess the problems and provide accurate feedback. 
Data Collection Following the Launch of the Intervention 
i. 
Process steps for identification of patients and patient records 
Limited clinical data will be collected for adult study subjects for specified periods and will be used to: 
(a) identify eligibility (inclusion and exclusion criteria) for the study based on CKD care status at the time 
of an office visit, such as age, pregnancy, dementia, or active cancer therapy in the previous year; (b) 
identify any evidence‐based deficits in CKD care based on currently accepted national CKD clinical 
guidelines; (c) provide a lay version of the evidence‐based treatment recommendations for the patient 
and a professional version for the PCP; (d) assess the impact of study interventions on CKD care in 
eligible adults at intervention versus control clinics, and (e) assess the impact on outcomes of 
demographic characteristics such as gender, race, ethnicity, insurance type, primary language and use of 
interpreter 
ii. 
Patient accrual 
The index visit will be the first visit at any randomized clinic in the accrual period at which the patient 
was eligible for the CKD‐CDS intervention. We anticipate that the patient accrual period (for index visits) 
will be a minimum of 11 months, followed by a minimum of 18‐month observation period. 
iii. 
Data sources 

 
 
 
37 
All necessary data to determine eligibility, implement and operate the intervention, and assess the 
impact of the intervention are derived from electronic health records (EHRs) or health plan or medical 
group administrative databases. 
iv. 
Process steps for data acquisition  
We will construct variable definitions and data extraction procedures for demographics, enrollment 
characteristics, vital signs, pharmacy, inpatient and outpatient encounters, and diagnoses. Data from all 
sources, including encounter data, claims, and EMR clarity data, will be restructured into a common 
format and data elements combined into uniform files. A unique identifier will link all person‐level 
information. Data integrity will be assessed to ensure that observations are valid, reliable, and 
consistent. Each variable will be tested for completeness and out‐of‐range values. We will create Limited 
Data Sets that are consistent with human subject protection and HIPAA privacy regulations that will be 
kept at HealthPartners Institute, along with data dictionaries, coding manuals, and other documentation 
relevant to data collection or measurement issues. After this study, this resource may be available to the 
funding agency or to other approved investigators in accordance with then‐current regulations about 
data privacy and data use. 
10.1.9.2 STUDY RECORDS RETENTION  
Study documents will be retained for a minimum of 2 years after the last day of data collection. 
 
10.1.10 
PROTOCOL DEVIATIONS  
The PI, Dr. JoAnn Sperl‐Hillen, will lead weekly meetings of the investigator team to ensure that all 
project activities are conducted and completed in a timely fashion and exactly as specified in the study 
protocol. The team will identify and report any deviations within 5 working days of identification of the 
protocol deviation, or within 5 working days of the scheduled protocol‐required activity.  All deviations 
will be addressed in study source documents, reported to NHLBI and the Program Official.  Protocol 
deviations will also be sent to the reviewing Institutional Review Board (IRB) per their policies. In 
addition, the programmers will meet weekly to deal with operational issues related to development, 
implementation, and maintenance of the intervention tools and with data and analysis issues 
throughout the project. 
 
10.1.11 
PUBLICATION AND DATA SHARING POLICY 
This study will comply with the NIH Data Sharing Policy and Policy on the Dissemination of NIH‐Funded 
Clinical Trial Information and the Clinical Trials Registration and Results Information Submission rule. As 
such, this trial will be registered at ClinicalTrials.gov, and results information from this trial will be 
submitted to ClinicalTrials.gov. The project team plans to submit manuscripts to peer reviewed journals 
including, such as those devoted to primary care, quality improvement, or CKD. For HealthPartners, the 
team plans to share results through meetings and presentations to the relevant departments. Data from 
this study may be requested by other researchers 3 years after the completion of the primary endpoint 
or 2 years after the main paper of the trial has been published, whichever comes first, by contacting Dr. 
JoAnn Sperl‐Hillen. 
 
10.1.12 
CONFLICT OF INTEREST POLICY 
The independence of this study from any actual or perceived influence is critical.  Therefore, any actual 
conflict of interest of persons who have a role in the design, conduct, analysis, publication, or any aspect 
of this trial will be disclosed and managed. Furthermore, persons who have a perceived conflict of 

 
 
 
38 
interest will be required to have such conflicts managed in a way that is appropriate to their 
participation in the design and conduct of this trial.  The study leadership in conjunction with the 
National Institute of Diabetes and Digestive and Kidney Diseases has established policies and procedures 
for all study group members to disclose all conflicts of interest and will establish a mechanism for the 
management of all reported dualities of interest. 
10.2 ADDITIONAL CONSIDERATIONS 
None 
 

 
 
 
39 
10.3 ABBREVIATIONS 
 
A1c 
glycated hemoglobin A1 
ACC/AHA   American College of Cardiology/American Heart Association  
ACE 
affiliated covered entities  
ACEI 
angiotensin converting enzyme inhibitor 
ACR 
albumin to creatinine ratio 
AE(s)  
Adverse Event(s)  
ARB 
angiotensin receptor blocker 
ASCVD  
Athersosclerotic cardiovascular Disease  
BP  
Blood pressure  
BPA  
Best Practice Advisory  
CDS  
Clinical Decision Support  
CFR  
Code of Federal Regulations  
CKD 
chronic kidney disease 
CRF  
Case Report Form  
CV  
Cardiovascular  
DSMB  
Data Safety Monitoring Board  
ED 
Emergency Department 
eGFR 
estimated glomerular filtration rate 
EHR  
Electronic Health Record  
EMR  
Electronic Medical Record  
FDA  
Food and Drug Administration  
GCP  
Good Clinical Practice  
HIPAA  
Health Insurance Portability and Accountability Act  
HP  
HealthPartners  
HPMG  
HealthPartners Medical Group  
HTTPS 
Hypertext Transfer Protocol Secure 
ICD‐10  
10th revision of the International Statistical Classification of Diseases and Related Health 
Problems  
ICH  
International Conference on Harmonisation  
ID  
Identification  
IRB  
Institutional Review Board  
MAR 
missing at random 
MDH 
Minnesota department of health 
mg/dl  
milligrams/deciliter  
mm Hg  
Millimeters of Mercury  
NCT  
National Clinical Trial  
NIH  
National Institutes of Health  
NSAID(s) 
non‐steroidal anti‐inflammatory drug(s) 
OHRP  
Office for Human Research Protections  
PCP(s)  
Primary Care Provider(s)  
PEM 
Patient education material(s) 

 
 
 
40 
PHI  
personally identifiable health information  
PI  
Principal Investigator  
PN 
Park Nicollet 
SAE(s) 
serious adverse event(s) 
SDM 
Shared decision making 
SOAP 
Simple Object Access Protocol 
SSL 
Secure Sockets Layer 
UC 
usual care 
UMACR 
urine micro‐albumin creatinine ratio 
UP(s) 
unanticipated problem(s) 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 
 
 
41 
11 REFERENCES  
 
1. Wagner EH, Austin BT, Von Korff M. Organizing care for patients with chronic illness. Milbank Mem 
Fund Q. 1996;74(4):511‐544. 
2. Yawn B, Goodwin MA, Zyzanski SJ, Stange KC. Time use during acute and chronic illness visits to a 
family physician. Family practice. 2003;20(4):474‐477. 
3. Parchman ML, Burge SK. Continuity and quality of care in type 2 diabetes: a Residency Research 
Network of South Texas study. Journal of Family Practice. 2002;51(7):619‐624. 
4. Greenfield S, Kaplan SH, Ware JE, Jr., Yano EM, Frank HJ. Patients' participation in medical care: 
effects on blood sugar control and quality of life in diabetes. J Gen Intern Med. 1988;3(5):448‐457. 
5. K/DOQI clinical practice guidelines for chronic kidney disease: evaluation, classification, and 
stratification. American journal of kidney diseases: the official journal of the National Kidney 
Foundation. 2002;39(2 Suppl 1):S1‐266. 
6. Inker LA, Astor BC, Fox CH, et al. KDOQI US commentary on the 2012 KDIGO clinical practice 
guideline for the evaluation and management of CKD. American journal of kidney diseases: the 
official journal of the National Kidney Foundation. 2014;63(5):713‐735. 
7. Stevens PE, Levin A, Kidney Disease: Improving Global Outcomes Chronic Kidney Disease Guideline 
Development Work Group M. Evaluation and management of chronic kidney disease: synopsis of 
the kidney disease: improving global outcomes 2012 clinical practice guideline. Ann Intern Med. 
2013;158(11):825‐830. 
8. 2017 ACC/AHA/AAPA/ABC/ACPM/AGS/APhA/ASH/ASPC/NMA/PCNA Guideline for the Prevention, 
Detection, Evaluation, and Management of High Blood Pressure in Adults: A Report of the American 
College of Cardiology/American Heart Association Task Force on Clinical Practice Guidelines. J Am 
Coll Cardiol 2018;71:e127‐e248. 
9. McGlynn EA, Asch SM, Adams J, et al. The quality of health care delivered to adults in the United 
States. The New England journal of medicine. 2003;348(26):2635‐2645. 
10. Kerr EA, Asch S.M., Hamilton E.G., McGlynn E.A. Quality of Care for General Medical Conditions. A 
Review of the Literature and Quality Indicators. Santa Monica, CA: Rand Corporation;2000. 
11. Reschovsky JD, Rich EC, Lake TK. Factors Contributing to Variations in Physicians' Use of Evidence at 
The Point of Care: A Conceptual Model. J Gen Intern Med. 2015;30 Suppl 3:S555‐561. 
12. Alfandre D. Clinical Recommendations in Medical Practice: A Proposed Framework to Reduce Bias 
and Improve the Quality of Medical Decisions. J Clin Ethics. 2016;27(1):21‐27. 
13. Yarnall KS, Pollak KI, Ostbye T, Krause KM, Michener JL. Primary care: is there enough time for 
prevention? American journal of public health. 2003;93(4):635‐641. 
14. Andrade SE, Gurwitz JH, Field TS, et al. Hypertension management: the care gap between clinical 
guidelines and clinical practice. Am J Manag Care. 2004;10(7 Pt 2):481‐486. 
15. Grant RW, Cagliero E, Dubey AK, et al. Clinical inertia in the management of Type 2 diabetes 
metabolic risk factors. Diabetic medicine : a journal of the British Diabetic Association. 
2004;21(2):150‐155. 
16. Shah BR, Hux JE, Laupacis A, Zinman B, van Walraven C. Clinical inertia in response to inadequate 
glycemic control: do specialists differ from primary care physicians? Diabetes care. 2005;28(3):600‐
606. 
17. Schmittdiel JA, Uratsu CS, Karter AJ, et al. Why don't diabetes patients achieve recommended risk 
factor targets? Poor adherence versus lack of treatment intensification. J Gen Intern Med. 
2008;23(5):588‐594. 

 
 
 
42 
18. O'Connor PJ. From blame to understanding: moving diabetes care forward. J Fam Pract. 
1998;46(3):205‐206. 
19. O'Connor PJ. Overcome clinical inertia to control systolic blood pressure. Arch Intern Med. 
2003;163(22):2677‐2678. 
20. Phillips LS, Branch WT, Cook CB, et al. Clinical inertia. Ann Intern Med. 2001;135(9):825‐834. 
21. Phillips LS, Ziemer DC, Doyle JP, et al. An Endocrinologist‐Supported Intervention Aimed at 
Providers Improves Diabetes Management in a Primary Care Site: Improving Primary Care of 
African Americans with Diabetes (IPCAAD) 7. Diabetes care. 2005;28(10):2352‐2360. 
22. van Dipten C, van Berkel S, van Gelder VA, et al. Adherence to chronic kidney disease guidelines in 
primary care patients is associated with comorbidity. Family practice. 2017;34(4):459‐466. 
23. Fraser SD, Blakeman T. Chronic kidney disease: identification and management in primary care. 
Pragmatic and observational research. 2016;7:21‐32. 
24. Lipman PD, Aspy CB. Local Learning Collaboratives to Improve Quality for Chronic Kidney Disease 
(CKD): From Four Regional Practice‐based Research Networks (PBRNs). J Am Board Fam Med. 
2016;29(5):543‐552. 
25. Lo C, Teede H, Fulcher G, et al. Gaps and barriers in health‐care provision for co‐morbid diabetes 
and chronic kidney disease: a cross‐sectional study. BMC nephrology. 2017;18(1):80. 
26. Tam‐Tham H, Hemmelgarn BR, Campbell DJ, et al. Primary care physicians' perceived barriers, 
facilitators and strategies to enhance conservative care for older adults with chronic kidney 
disease: a qualitative descriptive study. Nephrol Dial Transplant. 2016;31(11):1864‐1870. 
27. Tsang JY, Blakeman T, Hegarty J, Humphreys J, Harvey G. Understanding the implementation of 
interventions to improve the management of chronic kidney disease in primary care: a rapid realist 
review. Implementation science: IS. 2016;11:47. 
28. Humphreys J, Harvey G, Hegarty J. Improving CKD Diagnosis and Blood Pressure Control in Primary 
Care: A Tailored Multifaceted Quality Improvement Programme. Nephron extra. 2017;7(1):18‐32. 
29. Crabtree BF, Nutting PA, Miller WL, et al. Primary care practice transformation is hard work: 
insights from a 15‐year developmental program of research. Medical care. 2011;49 Suppl:S28‐35. 
30. Stroebel CK, McDaniel RR, Jr., Crabtree BF, Miller WL, Nutting PA, Stange KC. How complexity 
science can inform a reflective process for improvement in primary care practices. Jt Comm J Qual 
Patient Saf. 2005;31(8):438‐446. 
31. Crabtree BF, Miller WL, Stange KC. Understanding practice from the ground up. J Fam Pract. 
2001;50(10):881‐887. 
32. Stange KC, Goodwin MA, Zyzanski SJ, Dietrich AJ. Sustainability of a practice‐individualized 
preventive service delivery intervention. American journal of preventive medicine. 2003;25(4):296‐
300. 
33. Miller WL, Crabtree BF, Nutting PA, Stange KC, Jaen CR. Primary care practice development: a 
relationship‐centered approach. Annals of family medicine. 2010;8 Suppl 1:S68‐79; S92. 
34. Institute of Medicine. The computer‐based patient record. An essential technology for health care. 
Washington DC: National Academy Press; 1991. 
35. Institute of Medicine. Health and data in the information age. Use, disclosure, and privacy. 
Washington DC: National Academy Press; 1994. 
36. Meigs JB, Cagliero E, Dubey A, et al. A controlled trial of web‐based diabetes disease management: 
the MGH diabetes primary care improvement project. Diabetes care. 2003;26(3):750‐757. 
37. Montori VM, Dinneen SF, Gorman CA, et al. The impact of planned care and a diabetes electronic 
management system on community‐based diabetes care: the Mayo Health System Diabetes 
Translation Project. Diabetes care. 2002;25(11):1952‐1957. 

 
 
 
43 
38. Crosson JC, Stroebel C, Scott JG, Stello B, Crabtree BF. Implementing an electronic medical record in 
a family medicine practice: communication, decision making, and conflict. Annals of family 
medicine. 2005;3(4):307‐311. 
39. Tierney WM, Overhage JM, Murray MD, et al. Effects of computerized guidelines for managing 
heart disease in primary care. J Gen Intern Med. 2003;18(12):967‐976. 
40. Murray MD, Harris LE, Overhage JM, et al. Failure of computerized treatment suggestions to 
improve health outcomes of outpatients with uncomplicated hypertension: results of a randomized 
controlled trial. Pharmacotherapy. 2004;24(3):324‐337. 
41. Tierney WM, Overhage JM, Murray MD, et al. Can computer‐generated evidence‐based care 
suggestions enhance evidence‐based management of asthma and chronic obstructive pulmonary 
disease? A randomized, controlled trial. Health services research. 2005;40(2):477‐498. 
42. Overhage JM, Tierney WM, Zhou XH, McDonald CJ. A randomized trial of "corollary orders" to 
prevent errors of omission. J Am Med Inform Assoc. 1997;4(5):364‐375. 
43. O'Connor PJ, Sperl‐Hillen JM, Rush WA, et al. Impact of electronic health record clinical decision 
support on diabetes care: a randomized trial. Annals of family medicine. 2011;9(1):12‐21. 
44. Litvin CB, Hyer JM, Ornstein SM. Use of Clinical Decision Support to Improve Primary Care 
Identification and Management of Chronic Kidney Disease (CKD). J Am Board Fam Med. 
2016;29(5):604‐612. 
45. Abdel‐Kader K, Fischer GS, Li J, Moore CG, Hess R, Unruh ML. Automated clinical reminders for 
primary care providers in the care of CKD: a small cluster‐randomized controlled trial. American 
journal of kidney diseases : the official journal of the National Kidney Foundation. 2011;58(6):894‐
902. 
46. Mendu ML, Schneider LI, Aizer AA, et al. Implementation of a CKD checklist for primary care 
providers. Clinical journal of the American Society of Nephrology : CJASN. 2014;9(9):1526‐1535. 
47. Von Korff M, Gruman J, Schaefer J, Curry SJ, Wagner EH. Collaborative management of chronic 
illness. Ann Intern Med. 1997;127(12):1097‐1102. 
48. Wagner EH. Chronic disease management: what will it take to improve care for chronic illness? Eff 
Clin Pract. 1998;1(1):2‐4. 
49. Sperl‐Hillen JM, O’Connor PJ, Averbeck BM, et al. Outpatient EHR‐based diabetes clinical decision 
support that works: lessons learned from implementing Diabetes Wizard. Diabetes Spectrum. 
2010;23(3):150‐154. 
50. Kharbanda EO, Nordin JD, Sinaiko AR, et al. TeenBP: Development and Piloting of an EHR‐Linked 
Clinical Decision Support System to Improve Recognition of Hypertension in Adolescents. EGEMS 
(Wash DC). 2015;3(2):1142. 
51. Boyle R, O'Connor P, Pronk N, Tan A. Stages of change for physical activity, diet, and smoking 
among HMO members with chronic conditions. American journal of health promotion: AJHP. 
1998;12(3):170‐175. 
52. Peterson KA, Hughes M. Readiness to change and clinical success in a diabetes educational 
program. J Am Board Fam Pract. 2002;15(4):266‐271. 
53. O'Connor PJ, Asche SE, Crain AL, et al. Is patient readiness to change a predictor of improved 
glycemic control? Diabetes care. 2004;27(10):2325‐2329. 
54. Prochaska J, Velicer W, Rossi J, et al. Stages of change and decisional balance for 12 problem 
behaviors. Health Psychol. 1994;13(1):39‐46. 
55. Ruggiero L, Rossi JS, Prochaska JO, et al. Smoking and diabetes: readiness for change and provider 
advice. Addict Behav. 1999;24(4):573‐578. 
56. Ruggiero L, Prochaska JO. Readiness for change: application of the transtheoretical model to 
diabetes. Diabetes Spectrum. 1993;6(1):21‐60. 

 
 
 
44 
57. Gilmer TP, O'Connor PJ, Sperl‐Hillen JM, et al. Cost‐effectiveness of an electronic medical record 
based clinical decision support system. Health services research. 2012;47(6):2137‐2158. 
58. O'Connor PJ, Sperl‐Hillen JM, Fazio CJ, Averbeck BM, Rank BH, Margolis KL. Outpatient diabetes 
clinical decision support: current status and future directions. Diabetic medicine : a journal of the 
British Diabetic Association. 2016;33(6):734‐741. 
59. Sperl‐Hillen JM, O’Connor PJ, Averbeck BM, et al. Outpatient EHR‐based diabetes clinical decision 
support that works: lessons learned from implementing Diabetes Wizard. Diabetes Spectrum. 
2010;23(3):150‐154. 
60. O'Connor PJ, Sperl‐Hillen J.M., Desai J.R., Margolis K.L. Designing Outpatient Diabetes Care Clinical 
Decision Support Systems for High Use Rates. Paper presented at: American Diabetes Association 
76th Scientific Sessions; June 10‐14, 2016; New Orleans, LA. 
61. O'Connor PJ S‐HJ, Crain AL, Ekstrom HL, Margolis KL. Randomized trial of a diabetes clinical decision 
support system: use rates, provider satisfaction, and impact on clinical outcomes. Paper presented 
at: European Association for the Study of Diabetes (EASD) 52nd Annual Meeting2016; Munich, 
Germany. 
62. Damschroder LJ, Aron DC, Keith RE, Kirsh SR, Alexander JA, Lowery JC. Fostering implementation of 
health services research findings into practice: a consolidated framework for advancing 
implementation science. Implementation science : IS. 2009;4:50. 
63. Sperl‐Hillen JM, O’Connor PJ, Averbeck BM, et al. Outpatient EHR‐based diabetes clinical decision 
support that works: lessons learned from implementing Diabetes Wizard. Diabetes Spectrum. 
2010;23(3):150‐154. 
64. Kharbanda EO, Nordin JD, Sinaiko AR, et al. TeenBP: Development and Piloting of an EHR‐Linked 
Clinical Decision Support System to Improve Recognition of Hypertension in Adolescents. EGEMS 
(Wash DC). 2015;3(2):1142. 
65. Boyle R, O'Connor P, Pronk N, Tan A. Stages of change for physical activity, diet, and smoking 
among.HMO members with chronic conditions. American journal of health promotion: AJHP. 
1998;12(3):170‐175. 
66. Peterson KA, Hughes M. Readiness to change and clinical success in a diabetes educational 
program. J Am Board Fam Pract. 2002;15(4):266‐271. 
67. O'Connor PJ, Asche SE, Crain AL, et al. Is patient readiness to change a predictor of improved 
glycemic control? Diabetes care. 2004;27(10):2325‐2329. 
68. Prochaska J, Velicer W, Rossi J, et al. Stages of change and decisional balance for 12 problem 
behaviors. Health Psychol. 1994;13(1):39‐46. 
69. Ruggiero L, Rossi JS, Prochaska JO, et al. Smoking and diabetes: readiness for change and provider 
advice. Addict Behav. 1999;24(4):573‐578. Contact PD/PI: Sperl‐Hillen, JoAnn M. References Cited P 
a g e 82 
70. Ruggiero L, Prochaska JO. Readiness for change: application of the transtheoretical model to 
diabetes. Diabetes Spectrum. 1993;6(1):21‐60. 
71. Gilmer TP, O'Connor PJ, Sperl‐Hillen JM, et al. Cost‐Effectiveness of an Electronic Medical Record 
Based Clinical Decision Support System. Health services research. 2012. 
72. Desai JR, Sperl‐Hillen JM, O‘Connor PJ. Patient preferences in diabetes care: overcoming barriers 
using new strategies. Journal of Comparative Effectiveness Research. 2013;2(4):351‐354. 

 
 
 
45 
73. Kharbanda EO, Nordin JD, Sinaiko AR, et al. TeenBP: Development and Piloting of an EHR‐Linked 
Clinical Decision Support System to Improve Recognition of Hypertension in Adolescents. EGEMS 
(Wash DC). 2015;3(2):1142. 
74. O'Connor P. Opportunities to Increase the Effectiveness of EHR‐Based Diabetes Clinical Decision 
Support. Appl Clin Inform. 2011;2(3):350‐354. 
75. O'Connor PJ, Desai JR, Butler JC, Kharbanda EO, Sperl‐Hillen JM. Current status and future 
prospects for electronic point‐of‐care clinical decision support in diabetes care. Curr Diab Rep. 
2013;13(2):172‐176. 
76. O'Connor PJ, Sperl‐Hillen JM, Rush WA, et al. Impact of Electronic Health Record Clinical Decision 
Support on Diabetes Care: A Randomized Trial. Ann Fam Med. 2011;9(1):12‐21. 
77. Gliklich RE, Dreyer NA, Leavy MB, editors. Registries for Evaluating Patient Outcomes: A User's 
Guide [Internet]. 3rd edition. Rockville (MD): Agency for Healthcare Research and Quality (US); 
2014 Apr. 12, Adverse Event Detection, Processing, and Reporting. Available from: 
https://www.ncbi.nlm.nih.gov/books/NBK208615/ 
78. Kelly McCormick. HealthPartners Institute IRB Policies and procedures. Available from 
https://sites.healthpartners.com/hp/InstiNet/irb/SiteAssets/SitePages/Home/IRB%20SOPs.pdf 
79. Gilmer TP, O'Connor PJ, Sperl‐Hillen JM, et al. Cost‐effectiveness of an electronic medical record 
based clinical decision support system. Health services research. 2012;47(6):2137‐2158. 
80. Deyo RA, Cherkin DC, Ciol MA. Adapting a clinical comorbidity index for use with ICD‐9‐CM 
administrative databases. Journal of clinical epidemiology. 1992;45(6):613‐619. 
81. HIPPA Privacy Rule and Its Impacts on Research 
http://privacyruleandresearch.nih.gov/pr_08.asp#8c 
82. Saunders B, Sim J, Kingstone T, et al. Saturation in qualitative research: exploring its 
conceptualization and operationalization. Qual Quant. 2017;52(4):1893‐1907.