Att B_NPHII: Mid-Program Evaluation Report

Attachment B - Mid-program report executive summary

National Public Health Improvement Initiative: 
Mid‐Program Evaluation Report 
Executive Summary 
February 2014 

Page 1 

Background  
The National Public Health Improvement Initiative (NPHII) was launched in 2010 by the Centers for 
Disease Control and Prevention (CDC).  Funded by the Prevention and Public Health Fund of the 
Affordable Care Act, the aim of the initiative is to systematically increase performance management 
capacity of public health departments to ensure that public health goals are efficiently and effectively 
met.  Over the first three years of the program, $109.6 million were awarded to state, tribal, local, and 
territorial public health agencies to increase performance and quality improvement (QI), accreditation 
readiness, and performance management capacity. Currently, NPHII funds 73 awardees to implement 
program requirements, such as hiring and maintaining a Performance Improvement Manager (PIM), 
conducting QI activities to improve efficiency and effectiveness, engaging in accreditation readiness 
activities, and implementing an organization‐wide performance management system.   

CDC and the National Network of Public Health Institutes (NNPHI) are collaboratingi to evaluate the 
extent to which awardees are achieving NPHII outcomes, and understand how program elements and 
other contextual factors contribute to these outcomes. The main evaluation questions are:  
1. To what extent has NPHII supported improved efficiency and effectiveness of awardees’ 
program‐specific and/or agency‐wide operations? 
2. To what extent has NPHII supported increased readiness of its awardees for accreditation by the 
Public Health Accreditation Board (PHAB)? 
3. To what extent has NPHII supported the implementation of performance management in 
awardee organizations?  
The results presented in this document are key evaluation findings as of April 2013. 

Evaluation Methods 
A mixed‐method evaluation design was used that included data derived from interim and annual 
progress reports and annual assessments. The purpose of the progress reports, administered twice 
yearly, is to monitor awardee progression and challenges toward meeting objectives outlined in annual 
work plans. The annual assessment examines the extent to which awardees achieve NPHII program 
goals. In each year of the program, the response rate for submitting progress reports and annual 
assessments was 100%; however, the response rates varied by individual questions.  

Data analysis and synthesis include simple descriptive statistics, longitudinal analysis, and sub‐analyses 
of data by awardee characteristics. Findings were reviewed with NPHII project officers and NPHII 
leadership to inform data interpretation and develop recommendations for program and evaluation. 
The primary limitation of the evaluation is reliance on self‐reported data with limited opportunities for 
validation. Another limitation is the lack of comparability of some data across time due to changes in 
program expectations and the evolution of awardee understanding of programmatic elements.    

Page 2 

Results 
Quality Improvement 
NPHII awardees are making progress toward meeting the expectation to improve efficiency and 
effectiveness through QI projects. By September 2012, 90% (n=66/73) of awardees were focusing on QI 
projects to increase efficiencies and/or improve effectiveness. Of these 66 awardees, 29% (n=19/66 or 
26% of all 73 awardees) indicated that they had ‘completed’ at least one QI project. By April 2013, 38% 
of all awardees (n=28/73), representing 26 state health departments and two local health departments, 
had completed at least one QI project. No tribal or territorial awardees reported completing a QI 
project.  

Among the 58 awardees focusing on efficiency related activities, reducing the number of steps in a 
process (88%; n=51/58) and saving time (90%; n=52/58) were the most frequently reported outcomes. 
Further, 52% (n=30/58) of awardees were also working towards saving costs (Figure 1). 

Figure 1: QI Outcomes Related to Increased Efficiencies (Year Two Annual Assessment; n=58)1 
100
Percent of Awardees (%)

90
80
70
60
50
40
30
20
10
0

Reducing
the
Reducing
Saving time
staff hours
number of
steps

Saving
money

Increasing
revenue

Other

Completed (%)

17.2

15.5

15.5

12.1

3.4

0.0

In progress (%)

70.7

74.1

67.2

39.7

20.7

8.6

Fifty‐seven awardees reported focusing on QI outcomes related to improved effectiveness. As seen in 
Figure 2, 61% (n=35/57) of awardees reported working on projects to increase staff satisfaction and 68% 
(n=39/57) of awardees are working on projects to increase customer satisfaction. Further, 46% 
(n=26/57) of awardees reported working on QI efforts to increase the reach of service delivery (Figure 
2). 

1

 n of 58 is based on awardees that reported focusing on increasing efficiencies in Year Two of NPHII. 

Page 3 

Figure 2: QI Outcomes Related to Improved Effectiveness (Year Two Annual Assessment; n=57)2 

100
90

Percent of Awardees (%)

80
70
60
50
40
30
20
10
0

Increased Increased
staff
customer
satisfaction satisfaction

Increasing
reach of
service
delivery

Quality
enhance‐
ment

Increase in
funds
leveraged

Decrease in
Increase in
incidence
prevent‐
or
ative
prevalence
behaviors
of disease

Other

Completed (%)

10.5

8.8

5.3

5.3

3.5

1.7

1.7

1.7

In Progress (%)

50.9

59.6

40.3

63.1

31.6

35.1

31.6

12.3

Examples of outcomes achieved through QI projects are highlighted below: 
 The Virginia Department of Health reduced average processing time for procurement and human 
resources processes by 43%. In addition, the number of staff involved in the HR process was reduced 
from 20 to 3 people also using PDSA cycles.   
 The Oklahoma State Department of Health decreased early elective deliveries by 66% in one year.  
 The New Jersey Department of Health reduced the number of steps required to mail penalty letters 
to healthcare facilities from 28 to 14. 
 The Oregon Public Health Division identified process inefficiencies that resulted in Women, Infants, 
and Children (WIC) saving 360 staff hours ($13,150) that could be redeployed to other priorities. 

 The South Carolina Department of Health and Environmental Control reduced wait time for sexually 
transmitted disease (STD) evaluations from an average of 60 minutes to 28 minutes. This allowed for 
an increase in an additional 244 appointments. Assessment of customer and staff satisfaction 
showed a high degree of satisfaction with clinic wait times (99%; n=242), and all staff involved with 
the pilots expressed a very high level of satisfaction with implementing the new process in their area 
(100%).  

Accreditation Readiness 
NPHII is advancing awardees’ readiness to apply for public health accreditation by PHAB in several ways. 
By April 2013, 88% of awardees had completed or were in the process of completing a health 

2

 n of 57 is based on awardees that reported focusing on increasing effectiveness in Year Two of NPHII.  

Page 4 

assessment (50%; n=36/72 and 38%; n=27/72 respectively).3 Seventy‐two percent of awardees had 
completed or were in the process of completing a health improvement plan (32%; n=23/72 and 40%; 
n=29/72 respectively), and 83% had completed or were in the process of completing a strategic plan 
(58%; n=42/73 and 25%; n=18/73 respectively). As seen in Figure 3, the majority of awardees reported 
completing each of the prerequisites after receiving NPHII funding. 

Further, 26% (n=19/72) of awardees completed all three prerequisites, 14% (n=10/72) completed two 
prerequisites, 31% (n=22/72) completed one prerequisite, and 29% (n=21/72) completed zero 
prerequisites. Fifty‐seven percent (n=4/7) of tribal awardees and 50% (n=4/8) of territorial awardees 
reported not completing any prerequisites.  

Figure 3: Timeframe of PHAB Prerequisite Completion (Year Three IPR)4 
100
Percent of Awardees(%)

90
80
70
60
50
40
30
20
10
0

Health
Assessment
(n=30)

Health
Improvement Plan
(n=19)

Strategic Plan
(n=38)

Completed during NPHII (%)

83.3

89.5

89.5

Completed before NPHII
funding (%)

16.7

10.5

10.5

A new requirement in Year Three of the program was the completion of an organizational self‐
assessment to identify gaps in meeting the PHAB Standards and Measures Version 1.0. By April 2013, 
44% (n=32/73) of awardees reported completing an organizational self‐assessment. Seventeen 
awardees reported meeting all standards within Domain 4 (community engagement), and 13 awardees 

3

 The percentage for ‘completed’ includes awardees that reported completing a prerequisite between April 1, 2008 
and March 31, 2013. Percentages in this statement do not include missing observations; one state awardee (1.4%) 
did not answer the question on completing a health assessment or health improvement plan.   
4
 Completed during NPHII represents those awardees who reported completing the prerequisite after October 1, 
2010. The data in Figure 3 represent awardees that reported completion of a PHAB prerequisite and provided a 
date of completion. Six awardees did not provide a completion date for health assessment, and four awardees did 
not provide a completion date for health improvement plan and strategic plan. 

Page 5 

reported meeting all standards for Domain 7 (access to healthcare services). Conversely, 18 awardees 
indicated that none of the standards within Domain 9 (continuous improvement) have been met.  

Performance Management Capacity 
Awardees are making progress toward developing the four components of an organization‐wide 
performance management system, which includes continuous use of performance standards, 
performance measures, routine performance reporting, and quality improvement. At Baseline, October 
2010, 10% (n=7/72) of awardees had established all four components of a performance management 
system, which increased to 22% (n=16/72) by September 2012.5 Local health departments were the 
highest percentage of awardees that established components followed by tribes (44%; n=4/9 and 43%; 
n=3/7 respectively). Territorial awardees least frequently reported establishing any of the components.  

On the Year Two Annual Assessment, awardees were asked to identify the top three challenges in 
implementing organization‐wide performance management systems since receiving NPHII funding. 
Across all awardees, the top three ranked challenges were competing priorities (n=55); limited staff 
trained in performance management or QI (n=49); and limited staff available for this work (n=45).6 

Additional Findings  
Awardees are establishing an organizational environment that supports performance management, 
quality improvement, and accreditation readiness by establishing offices and hiring staff dedicated to 
performance improvement. By September 2012, all awardees had a PIM in place; however, nearly half 
(49%; n= 36/73) experienced turnover during the year.  

By April 2013, awardees reported 386 positions primarily to support performance improvement and/or 
NPHII related activities, regardless of funding source. Of these performance improvement positions, a 
total of 203 positions (median and mode is two positions per agency) have been established since the 
inception of NPHII with 162 of those positions currently funded by NPHII.  

Eighty‐ two percent (n=60/73) of awardees reported having an office dedicated to performance 
improvement, including 100% of local and territorial awardees. Of this sub‐set of awardees, 68% 
(n=41/60) indicated using NPHII Cooperative Agreement funds to establish this office.  

In addition to using NPHII funds for advancing their own work, 51% (n=37/73) of awardees reported in 
Year Two that they had used their funds to support NPHII‐related activities by other health agencies. 
Awardees reported allocating approximately $5.5 million across 1,212 local health departments 
(including county and regional health districts), 19 tribal health departments, 1 territorial consortium, 13 
regional health districts, and 6 statewide associations. 

5

 Data only includes awardees that participated in the Annual Assessment from inception to current (N=72).  
 Numbers of awardees, rather than percent, are reported since many awardees selected more than three 
challenges.   
6

Page 6 

Next Steps 
The following next steps for future evaluation activities are based on evaluation results, stakeholder 
interpretation and feedback, and lessons learned from the evaluation.  

For the summative phase of the NPHII evaluation, leadership and project officers requested additional 
types of data in order to understand the value‐added of NPHII.  Foremost, to gain a more 
comprehensive picture of NPHII’s impact, the evaluation should examine the value of the program as 
seen from multiple perspectives. Further, the evaluation should include more descriptive data and/or 
success stories to better understand the impact of NPHII at the awardee‐level.  

Similarly, to better understand the value‐added of this kind of work, the evaluation should shift towards 
understanding the use and outcomes of performance management systems rather than solely focusing 
on their establishment. Lastly, more data is needed to better understand the impact of Component II 
funding issued to 19 awardees in Year One of the program. 

i

 Acknowledgements: The evaluation of the National Public Health Improvement Initiative (NPHII) is funded 
through a cooperative agreement (5U8HM000520) between the National Network of Public Health Institutes 
(NNPHI) and the Office for State, Tribal, Local and Territorial Support at the Centers for Disease Control and 
Prevention (CDC). Contributing authors to this report include (in alphabetical order): 
CDC Staff: Jeffrey Brock, Bobbie Erlwein, Cassandra Frazier, Anita McLees, Saira Nawaz and Andrea Young  
NNPHI Staff: Brittany Bickford, Sarah Gillen, Sarah McKasson, and Nikki Rider 
Evaluation Team Consultants: Mary Davis, Julia Heany, Brenda Joly, Kusuma Madamala, and Chris Parker 
We would also like to thank NPHII programmatic staff and leadership for their insights and guidance in developing 
the report, as well as the NPHII awardees who participated in the evaluation and provided data for this report.  
For more information about this evaluation, please contact Cassandra Frazier ([email protected]).    

Page 7