2018 End to End Test- Goals, Scope, Constraints, and Issues

2018 End‐to‐End Census Test 
Baselined Version 2.2 
October 14, 2016 

The contents of this document are: 
 List of the 34 Operations and Program Managers for the 2020 Census 
 2018 End‐to‐End Census Test Scope Diagram 
 2018 End‐to‐End Census Test – High Level Timeline 
 Key information for the 2018 End‐to‐End Census Test 
 Systems and Operations not previously included in a Census Test 
 Operational Areas – Goals, Scope, Constraints and Issues 

Page 1 of 28 

34 Operations for the 2020 Census and  2018 End‐to‐End Census Test and Program Manager 
(Operations highlighted in RED are out of Scope for the 2018 End‐to‐End Census Test) 

Operation 

Program Manager 

Program Management 

Deidre Hicks 

Systems Engineering and Integration 

Pete Boudriault 

Security, Privacy and Confidentiality 

Pam Mosley 

Content and Forms Design 

Jenny Kim  

Language Services 

Jenny Kim  

Decennial Service Center 

Raphael Corrado 

Field Infrastructure 

Bryn Johnson 

Decennial Logistics Management 

Bryn Johnson 

IT Infrastructure 

Pete Boudriault 

Geographic Programs 

Evan Moffett 

Local Update of Census Addresses 

Out of Scope 

Address Canvassing (In‐Office, In‐Field) 

Evan Moffett 

Forms Printing and Distribution 

Alexa Jones‐Puthoff 

Paper Data Capture 

Alexa Jones‐Puthoff 

Integrated Partnership and Communications 

Tasha Boone 

Internet Self‐Response 

Alexa Jones‐Puthoff 

Non‐ID Processing 

Evan Moffett 

Update Enumerate  (Remote Alaska – out of Scope) 

Evan Moffett 

Group Quarters 

Evan Moffett 

Enumeration at Transitory Locations 

Out of Scope 

Census Questionnaire Assistance 

Sheila Proudfoot 

Nonresponse Followup 

Maryann Chapin 

Response Processing 

Raphael Corrado 

Federally Affiliated American Count Overseas 

Out of Scope 

Data Products and Dissemination 

Jenny Kim 
Page 2 of 28 

Redistricting Data (Prototype Only) 

James Whitehorne 

Count Review 

Out of Scope 

Count Questionnaire Resolution 

Out of Scope 

Archiving 

Jacqueline Eanes 

Island Areas Censuses 

Out of Scope 

Coverage Measurement Design and Estimation 

Maryann Chapin 

Coverage Measurement Matching 

Maryann Chapin 

Coverage Measurement Field Operations 

Maryann Chapin 

Evaluations and Experiments 

Out of Scope 
(Note – Assessments are included and are a part of the individual operations.) 

Page 3 of 28 

Page 4 of 28 

Page 5 of 28 

Key information for the 2018 End‐to‐End Census Test
Purpose 

•
•
•

To validate that the operations in scope for the 2018 End‐to‐End Census Test (2018 E2E) are ready to go into production for the 2020 Census. 
To test and validate major operational threads, procedures, systems, and infrastructure (IT and non‐IT) together to ensure proper integration and conformance with 
functional and non‐functional requirements. 
Produce a prototype of geographic and data products. 

Constraints  

Budget limitations might impact the end‐to‐end test scope impacting our ability to perform adequate testing in preparation for conducting the 2020 Census. 

Considerations for  
Site Selection 

Considerations for site selection: 
• Full‐scale Area Census Offices (ACOs) to test organizational structure and IT considerations.  (Test ACO model for staffing ratios and equipment.) 
• Areas cover all Regional Census Centers (RCCs). (Provides experience for RCCs. Also the first RCC will open in January 2017 and the first ACO in March 2017) 
• Consider leaving certain offices in place after this for 2020 
• Multiple time zones   
• Sites need to reflect what we want to test  
o 1 Urban – Self‐Response  
o 1 Suburban/Rural  ‐  Update Enumerate (UE) 
• Languages – Sites should include as many languages as possible that we plan to support in 2020.  These will most likely cluster in urban areas that will have been selected 
for other purposes too.  The languages being planned for Internet are: English, Spanish, Chinese, Korean, Vietnamese, Russian, Arabic, and Tagalog. 
• Locating ACOs in existing GSA space speeds the space leasing process. 
• Self‐Response – national representation for Type of Enumeration Area (TEA) in the 2020 Census (exception – Island Areas, Alaska and Military Update Leave (UL)/Update 
Enumerate (UE) are out of scope) 
• Puerto Rico is not in scope for the test. 

IT related site selection criteria:  
• Geographic considerations: 
o Extreme heat (especially as we had issues with mobile instruments in the 2015 Census Test) 
o Extremely humid area 
o Extremely dry area 
o High altitude area 
o Extremely rural area 
o Densely populated area 
Page 6 of 28 

•

•

•
•
Assumptions 

Listing and Mapping  
o Requires the testing of large blocks 
 Multi units 
 Group Quarters (GQ)  (Military UL/UE are out of scope) 
 Densely populated blocks (1000+ addresses and map spots) 
 Physically large blocks (rural areas where a block can span many square miles) 
Connectivity  
o Area that will test disconnected/limited bandwidth users for both mapping and enumeration 
o Areas with different cellular service providers 
Test the ability to support areas of network limitations/degradation (i.e., stress) and network bandwidth requirements for 2020 Census (e.g., considering high latency and 
low bandwidth) 
Select enough sites that are geographically dispersed to test latency and system performance. (Site may need to support full‐scale ACO from beginning to end, if workload 
warrants it.) 

•
•
•

•

•
•
•
•
•
•
•
•
•
•

Census Day is April 1, 2018 
All systems that use Administrative Records will be tested in the 2018 E2E. 
The following contracts will be in place and will participate in the 2018 E2E: 
o Census Questionnaire Assistance (CQA) – Award contract July 2016 
o Decennial Service Center (DSC) – Award contract July 2016 
o Integrated Partnerships and Communication (IPC) – Award Contract August 2016 
Field Infrastructure –  
o ACOs, Device as a Service, Government Furnished Equipment 
o Telecom 
o Office in a Box 
o Furniture 
The results of the 2018 E2E will be used to finalize workload models for the 2020 Census. 
Any support function, such as Systems Engineering & Integration, Language Services, and Security, Privacy & Confidentiality to support the 2018 E2E will be in scope.  
Systems Requirements Reviews, Production Readiness Reviews and Operational Readiness Reviews will be implemented for the 2018 E2E. 
System scalability will not be directly tested in the 2018 E2E.  
Instrument, Format, Content and Contact Strategies will be finalized prior to conducting the 2018 E2E and will be used. 
No research‐related tests in the 2018 E2E. 
Paper Data Capture will be performed at National Processing Center (NPC). (Jeffersonville campus only. Tucson Contact Center will not be available for the 2018 E2E.) 
All of the Memoranda Of Understanding and inter‐agency agreements have been activated for the 2018 E2E. 
Any defects resulting from the 2018 E2E will be resolved during calendar year 2019. 
Study Plans and Assessments will be performed to validate operations as applicable. 
Page 7 of 28 

Systems and Operations not previously included in a Census Test 

SYSTEMS

OPERATIONS

System  

Description  

Group Quarter 
Enumeration Portal (TBD)  

Group Quarters operation introduced (military bases, college campus, retirement homes, etc.) 
• Heavily administrative records‐based (estimated 50%) 
2018 E2E will need some capability to provide external interfaces where people can upload 
administrative records  

For Address Canvassing, Listing QC, with full ECaSE / SMaRCS 
interface to support address listing operations 

eCorrespondence 

In‐Office Group Quarters Advance Contact will need capability to: 
Send email to GQ POCs;  
Share access letters, brochures, etc. 
Store information collected for the upcoming enumeration, i.e. enumeration date, 
time, expected population count, preferred enumeration mode, 

Group Quarters

Partnership Communication 
System  

Introduces new capabilities to include: 
 Partnership Fulfillment  
 Partnership Portal  

Data Products and Dissemination 

American Community Survey 
Tabulation Services  

System to perform data tabulation 

Redistricting Data

Center for Enterprise 
Dissemination Services and 
Consumer Innovation (CEDSCI)I  

System for data dissemination 

Archiving

Census Schedule A Human 
Resources, Recruiting, and 
Payroll System (C‐SHaRPS)  

System for recruiting, hiring and onboarding of field staff.  C‐SHaRPS essentially replaces the 
discontinued Census Automated Recruiting and Administrative Tools (CARAT) project. For 2020 
Census, C‐SHaRPS will not replace the Decennial Applicant Personnel and Payroll System 
(DAPPS), but must integrate with DAPPS.   (A post‐2020 replacement of DAPPS may be explored 
under the C‐SHaRPS contract.) 

Coverage Measurement – Design and Estimation 
Coverage Measurement – Matching 
Coverage Measurement – Field Operations 

Other: 
• While the physical configuration of systems will be commensurate to the limited scale of 2018 E2E, all systems must be 
engineered to scale up to full 2020 Census size. 
• Every system targeted to be in the cloud will be in the 2018 E2E. 

Page 8 of 28 

Operations that will be introduced 

Operations  ‐‐ Goals, Scope, Constraints and Issues 
Goals  

Scope 

Census /Survey Engineering 
Program Management  (Deidre Hicks) 
Define and implement program management policies, 
processes, and the control functions for planning and 
implementing the 2018 E2E. 

1)
2)
3)
4)
5)
6)
7)
8)
9)
10)
11)
12)

Governance  – Deidre Hicks (Adam Bacon)
Strategic Communication (internal/external) – Kim Higgenbotham 
Strategic Management  – Deidre Hicks (Adam Bacon) 
Document Management  – Deidre Hicks (Latasha Thompson) 
Change Management  – Deidre Hicks (Latasha Thompson) 
Knowledge Management  – Maryann Chapin (Randall Neugebauer) 
Acquisition and Sourcing Management  – Leslie Godwin (Rebecca Diaz‐
Cartegena) 
Budget Management  – Ed Kobilarcik 
Schedule Management  –  Jacqueline Eanes (Kelly Gioffre)  
Performance Management –  Jacqueline Eanes (Sherry Thorpe) 
Human Capital Management – Darlene Ursitti (Tia Lee) 
Risk and Issues  Management  – Deidre Hicks (LaTasha Thompson)

Systems Engineering and Integration    (Pete Boudriault and Natasha Barilaro) 
•

•

Manage the delivery of a system of systems that 
meets 2018 E2E program business and capability 
requirements.  
At the program‐level, manage the full Enterprise 
Systems Development Life Cycle for systems 
supporting the 2018 E2E.  

•

•
•
•
•

Exercise and test all included 2020 critical systems (CEDCaP and Non 
CEDCaP), operations and procedures together to ensure proper integration 
and conformance with functional and non‐functional requirements. 
Ensure data validation occurs at each dataflow interchange. 
Verify inputs, outputs and data transformations. 
Systems performance will meet service level agreements 
Test latency and system performance in geographically dispersed sites.  
Page 9 of 28 

Constraints/Issues 

Operations  ‐‐ Goals, Scope, Constraints and Issues 
Goals  

Scope 

Constraints/Issues 

Verify through inspection of architectural artifacts that systems are 
engineered to be able to meet scalability requirements for 2020. 

•

Security, Privacy, and Confidentiality   (Pete Boudriault and Pam Mosley)
All planned security systems listed in the scope for 
Security, Privacy and Confidentiality are in place and 
operating  

•
•
•
•
•
•
•

Enterprise IT infrastructure and Telecommunications Systems 
Enterprise Security Operations Center (SCC) 
Enterprise Intrusion Detection Systems (IDS) 
Enterprise Security Vulnerability management systems 
Enterprise Audit Log Repository 
Enterprise Operating System (OS) Security Baseline Management 
Application Security Baseline Management System. 

Content and Forms Design   (Jenny Kim and Acting Branch Chief for Content, Language and Data Products Branch)
Identify and finalize content and design of questionnaires 
and other non‐questionnaire materials, ensure 
consistency across data collection modes and operations, 
and promote high response rates and accurate and 
consistent responses across modes. 

Data Collection Instruments 
• Internet  
• Paper, including GQ 
• CQA 
• Mobile Device 
• GQ (electronic) 

Non‐questionnaire Mailing Materials 
• Letters 
• Postcards 
• Brochures 
• Informational Inserts 
• Envelopes 

Materials for field operations 
Page 10 of 28 

Constraints: 
 Use and availability of ECaSE systems. 

 Paper questionnaire size limits (16 pages) due to 
serialization requirements  
Notes:  
• Final determination not made on serialization of bilingual 
questionnaires. The decision will depend on the final 
question wording for 2018/2020.  We will need results of 
the 2017 test on the tribal enrollment question to 
determine the questionnaire length and whether or not 
they will exceed the 16 page limit. 
•

More questionnaire pages impacts mailing, storage and 
data capture 

Operations  ‐‐ Goals, Scope, Constraints and Issues 
Goals  

Scope 
•
•

Constraints/Issues 

Notice of Visit 
Information Sheet (privacy notice and residence rules) 

Language Services   (Jenny Kim and Acting Branch Chief for Content, Language and Data Products Branch)
Assess and support language needs of non‐English 
speaking populations for all modes and other mailing and 
field materials, determine the number of languages and 
level of support required, optimize non‐English content, 
and ensure cultural relevancy and meaningful translation 
of non‐English materials. 

Non‐English Data Collection Instruments 
• Internet (Spanish, Chinese, Vietnamese, Korean, Russian, Arabic, 
Tagalog) 
• Paper(Spanish) 
• CQA (Spanish, Chinese, Vietnamese, Korean, Russian, Arabic, Tagalog)  
• Enumeration Device (Spanish) 
• GQ (electronic) (Spanish) 

Non‐English Mailing Materials (Spanish) 
• Letters  
• Postcards 
• Brochures 
• Informational Inserts 
• Envelopes 

Non‐English Materials for field operations (Spanish) 
• Notice of Visit 
• Information Sheet (privacy notice and residence rules 

Constraints/Issues: 
• Lengthy translation process 
• Pre‐testing of non‐English materials 
• Availability of language capabilities in ECaSE systems and 
timelines for incorporating content in non‐English 
languages for the Internet self response instrument 
(Spanish, Chinese, Vietnamese, Korean, Russian, Arabic, 
Tagalog) and the enumeration instrument (Spanish) 

Infrastructure 
Decennial Service Center (Raphael Corrado and Brian De Vos)
Support 2018 E2E Census Field Operations and handle all 
service requests initiated by field staff. 

•
•
•

Support field applications (e.g.,  ECaSE) 
Meet Service Level Agreements (SLA) 
Collect metrics for service response time, staffing, etc. 

Page 11 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues 
Goals  

Scope 

Constraints/Issues 

Field Infrastructure (Bryn Johnson and Acting Branch Chief for Field Infrastructure Branch) 
Coordinate space acquisition for and lease management 
of the Regional Census Centers and field offices and 
provide the administrative infrastructure for data 
collection operations. 

•
•
•

Open RCCs 1/2/17 
Open Early ACOs 03/31/17 
Test automation of recruiting, hiring and onboarding. 

Constraints: 
• Not testing RCC/ACO space. 

Decennial Logistics Management (Bryn Johnson and Acting Branch Chief for Field Infrastructure Branch)
Provide logistics management services to include 
procuring warehouse space, warehousing, inventory 
management, kit assembly, deployment of materials, and 
receiving and excessing materials. 

•
•
•
•

Inventory management 
Kit assembly  
Deployment of materials 
Receiving and excessing materials 

IT Infrastructure (Pete Boudriault and Dan Lewis)  (Raphael Corrado and Brian De Vos, for Field IT Infrastructure)
Provide the information technology‐related infrastructure 
support to the 2018 E2E, including:  
•
•
•

•

Enterprise systems and applications.  
Decennial specific systems, applications, and 
interfaces.  
Field IT infrastructure (including remote offices, data 
center, and the paper data capture center) 
Mobile Computing

Gain experience moving to new IT infrastructure, 
including cloud computing and services 

Deploy IT infrastructure in RCCs to meet the needs of the 2018 E2E  ‐‐ RCC 
Opens 01/02/17 
Deploy IT infrastructure in Early ACOs to meet the needs of the 2018 E2E – 
ACOs open 03/31/17 

•

Any systems targeted to be hosted in the cloud in 2020 will be hosted in 
the cloud for the 2018 E2E. 

•

Implement fingerprinting‐as‐a‐service and verify it meets all 
functional and non‐functional requirements. 

•
•

Page 12 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Frame 
Geographic Programs   (Evan Moffett and Ross Davis)
•

•

Provide the geographic foundation in support of the 2018 E2E data 
collection and tabulation activities, including delineation of boundaries 
in the MAF/TIGER System,  
Delivery of address and spatial extracts from the MAF/TIGER System, 
updates to the MAF/TIGER System. 

•
•
•
•
•

Site selection 
Maps 
Geocoding activities 
Type of Enumeration Area 
Basic Collection Unit (BCU) 

Local Update of Census Addresses    (Evan Moffett and Mark Scheu)
Out of Scope 

Address Canvassing    (Evan Moffett and Shawn Hanks)
Deliver a complete and accurate address list and spatial database for 
enumeration and determine the type and address characteristics for each 
living quarter. 

•
•
•

Conduct  In‐Office Address Canvassing.  (This operation went into 
production in September 2015.) 
Conduct In‐Field Address Canvassing only for the BCUs that In‐Office 
Address Canvassing identified as needing field work.  
Conduct the planned listing QC (In prior tests we conducted a re‐listing 
rather than a QC.) 

Response Data 
Forms Printing and Distribution  (Alexa Jones‐Puthoff and Mark Wolfram)
Print and distribute Internet invitations, reminder postcards, and 
questionnaire mailing packages to support the 2018 E2E mailing strategy and 
enumeration of the population. 

•
•

2020 Print Contract Award  
Print and distribute Self‐Response materials: 
o Letters for internet invitations 
o Reminder postcards 
o Questionnaire mailing packages 

Page 13 of 28 

Issue:  
• If paper questionnaire fulfillment 
becomes in‐scope (see Change 
Request  P‐0219),  NPC may be the 
solution for on‐demand printing, 
Decision pending.   

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Paper Data Capture    (Alexa Jones‐Puthoff and Acting Branch Chief for NPC and Paper Processing)
Capture and convert data from the 2018 E2E paper questionnaires. 

•

•
•
•
•

Check‐in and data capture paper questionnaires including: 
o Document preparation 
o Scanning 
o Using Optical Character Recognition 
o Using Optical Mark Recognition 
o Key from Image 
o Editing 
o Checkout 
One paper data capture center, located at NPC. 
Staffing (NPC plans to hire staff for 2018 E2E.) 
Equipment 
Space on the current NPC campus will be utilized for the 2018 E2E.( A 
decision regarding space for 2020 is expected by 10/1/2016. E. JARRELL) 

Integrated Partnerships and Communications   (Tasha Boone and Terri Long)
Evaluate opt‐out text messaging as a communications platform. 

•
•

Evaluate text messaging as an advertising tool with the option to opt out. 
Provide response link directly through text messaging. 

Expanded use of digital address‐based targeting. 

Digitally target IP addresses of all potential respondents, not just Hard To 
Count (HTC) groups. 
• Deliver stage‐tailored messaging about response directly to 
nonrespondents. 
• Use non‐HTC specific targeting (e.g., tailored messages by county) 
• Leverage learnings from all previous digital advertising tests. 

Implement Customer Relationship Management (CRM) functionalities 
(including the Partnership Website)and integration of components with data 
collection process. 

•

Evaluate the effectiveness of CRM as a robust and cohesive platform to 
manage partner and customer interactions. 
Evaluate integration and multi‐way communication between all 
components of the CRM for better data collection. 
Evaluate the effectiveness of CRM in integrating online customer support 

•

•
•

Page 14 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

•
•
•

services (e.g. chat, access to FAQ, click to call, online support history) with 
online data collection processes to provide respondents with access to real‐
time help.  
Deploy partnership website. 
Measure acceptance and usage level of website by partners. 
Measure reasons for use of portal by partners (e.g., is the portal mostly 
accessed to request materials, submit questions, or receive information on 
upcoming events?). 

Integrate with CQA for the coordination of comprehensive 2020 Census FAQs 
for use by all operations that have a need. 

Develop and update FAQs to use across multiple operations to include: 
• data integration 
• reporting 
• process for call transfers  

Implement fulfillment center operations. 

•

•
Use the Customer Experience Management (CEM) system as the primary 
source for test monitoring and success measurement. 

•
•
•
•

•
Integrate the internally‐owned Data Management Platform (DMP) and 
Demand‐Side Platform (DSP) systems in support of programmatic buying. 

•
•
•

Evaluate integration and communication between the fulfillment center 
and all customer point of access/contact channels (including partnership 
portal, CQA Program). 
Evaluate integration of the partnership portal and fulfillment center with 
the Customer Interaction Platform. 
Incorporate more response and operational data into CEM. 
Determine/display the correct site response rate.  
Develop additional dashboard to monitor test components. 
Test direct connection to data sources instead of manual loads to remove 
human error, improve data latency, and allow for more flexibility in 
analysis. 
Identify potential recommendations for adjustments to improve response 
rate. 

Evaluate DMP as a centralized data analytics and data distribution system 
to support decision‐making for marketing strategy. 
Evaluate integration and communication between DMP and DSP systems.   
Evaluate usage of first, second, and third party data on our ability to 
effectively target digital advertising to drive response rates.  

Page 15 of 28 

Constraints/Issues 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Utilize Low Response Score (LRS) 

• Conduct partnership surges in hardest to count tracts. 
• Determine how best to provide data for Rapid Response Outreach for 
partners. 

Develop, collect, track and analyze IPC  performance metrics  

•

Identify appropriate performance metrics that will more effectively 
determine success for partnership and communication efforts. 

•

Mail Strategy for UE: 
o Invitation letter with questionnaire 
o Reminder 1 
o Reminder 2 
Mail Strategy all other: 
o Invitation letter, with a questionnaire for a sample 
o Reminder 1 
o Reminder 2 
o Questionnaire 
o Reminder – “It’s not too Late”  
Validate the 2020 contact strategy workload model 

Internet Self‐Response   (Alexa Jones‐Puthoff and Jason Reese)
Collect response data via the Internet to reduce paper and Nonresponse 
Followup and maximize online response via contact strategies and improved 
access to respondents. 

•

•
•

Non‐ID Processing   (Evan Moffett and Frank McPhillips)
Make it easy for people to respond anytime, anywhere to increase self‐
response rates by providing response options that do not require a unique 
Census ID. 

•
•
•
•
•

Collect/Accept responses without IDs 
Conduct both automated and clerical Non‐ID operations 
Conduct Non‐ID Response Validation 
Conduct Office‐Based Address Verification (OBAV) for eligible Non‐ID 
cases 
Generate workload for Field Verification operation  (for cases not 
resolved in OBAV) 

Page 16 of 28 

Issue:  
• a Fraud Detection team is being stood 
up.  Fraud Detection is to subsume 
Non‐ID Response Validation, but will 
also apply to ID responses.   Fraud 
Detection is expected to effect the 
scope of both Non‐ID Processing and 
Response Processing operations.  
Details are TBD. 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Conduct UE, with improved technical implementation (based on lessons 
learned from 2017 Census Test and 2017 Puerto Rico Census Test). 
Evaluate staffing ratios for UE. 
In‐Field listing QC 

Issue:  
• The plan is to leave a paper 
questionnaire rather than a notice of 
visit for American Indian reservations  
that request paper, but the only 
opportunity to test this in 2018 E2E is 
in the one site with a reservation 
(Pierce  Co, WA). UE counts are so 
small at that test site that discussion  
has been had about absorbing UE into 
other TEAs.  

Use administrative records to build frame and conduct enumeration. 
Use applications to list and enumerate, if a GQ is discovered in the field. 
Advance Visit – In‐Office and In‐Field. We will ask if the GQ can send 
electronic records. If yes, the electronic Administrative Records universe 
will be updated. 
GQ Enumeration  
o Electronic Administrative records 
o In‐Field enumeration ‐ Includes the use of paper questionnaire for 
two enumeration methodologies (drop off/ pick up ICRs and Facility 
Self‐Enumeration)  
Military GQs (land based installations) – Included in the Electronic 
Administrative records universe 
Military Vessels – Use electronic Administrative records 
Maritime Vessels – Paper Questionnaire and mailed package tracking 

Constraints: 
• Census staff may not be allowed on 
Military bases. 

Issues: 
• We do not have a solution to link 
people/respondents to Maritime 
Vessels. If Maritime Vessels are 
enumerated using paper, what are 
the assumptions about the form: size, 
number of pages, iCADE data capture, 
Key from Paper, distribution of 
questionnaires and related 
instructional materials? 

Update Enumerate   (Evan Moffett, Shawn Hanks, and Julia Lopez) 
Update the address and feature data and enumerate housing units in certain 
designated geographic areas with special enumeration needs (e.g., areas that 
do not have city‐style addresses and areas with unique challenges associated 
with accessibility). 

•
•
•

Group Quarters   (Evan Moffett and Dora Durante)
Enumerate people living or staying in group quarters.  
Provide an opportunity for people experiencing homelessness, and people 
receiving service at service‐based locations to be included in the Census. 

•
•
•

•

•
•
•

Page 17 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Enumeration at Transitory Locations   (Maryann Chapin and Acting Branch Chief for Nonresponse Operations Branch )
Out of Scope 

Census Questionnaire Assistance   (Sheila Proudfoot  and Kevin Zajac)
Provide questionnaire assistance for respondents by answering questions 
about specific items on the census form or other frequently asked questions, 
provide an option for callers to complete a census interview over the 
telephone, and support Census Outbound Operations to verify respondent  
information as a follow up activity. 

•
•
•
•
•

CQA contract award in July 2016 
Several CQA Centers nationwide that will be linked 
Estimated Workload is 15% of the HUs will contact CQA 
Inbound Assistance includes: telephone, Web chat, and email 
o First implementation of Web chat and email 
Outbound Operations:  expect Reinterview operations, i.e. NRFU, UE   
• Non‐English language to be supported: Spanish, Chinese, Vietnamese, 
Korean, Russian, Arabic, Tagalog,  

Constraint: 
• Workload will not be representative 
of the national 2020 Census. 

Issue: 
• Ongoing research may point to the 
addition of a new operation, Coverage 
Followup (also referred to as Quality 
Improvement) for 2020 Census, and 
possibly 2018 E2E. If added, CQA 
outbound call support would be 
needed.  

Nonresponse Followup   (Maryann Chapin and Acting Branch Chief for Nonresponse Operations Branch)
Determine housing unit status for nonresponding addresses and enumerate 
housing units for which a census response was not received. 

•

•

•
•

•

NRFU: 
o Use Administrative records modeling to limit workload 
o Use reengineered operations control system to optimize case 
assignments and routing 
NRFU Re‐Interview QC: 
o Standard sample of cases 
o CQA for phone followup to minimize field work 
Operations Control System  – for field alerts in areas of potential concern. 
Conduct Field Verification for Non‐ID cases that we do not have a 
sufficient match, or falls out of Non‐ID. 
o Conducted by field enumerators 
Contact managers of multiunit buildings prior to enumeration to identify 
Page 18 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 
•
•
•
•

vacant and non‐household units to reduce number of enumerator visits. 
Incorporate procedures and questionnaire enhancements for proxy visits. 
Test the capability to stop field work, pause field work, or reassign field 
work for special situations (i.e., flooding). 
Process apartment mix‐ups 
Add cases to the NRFU workload from other sources (i.e. late adds, LUCA 
appeals). 

Response Processing  (Raphael Corrado and Charles Fowler)
Exercise and test each component within the three phases of the Response 
Processing Operation 

Pre Data Collection Phase – 
• Create initial enumeration universe.  
• Manage initial universe address updates from Address Canvassing, and 
other update operations to create initial enumeration universes. 
• Deliver sample delivery files and workload management files in 
support of enumeration operations. 
• Manage contact strategies in support of self‐response operations.  

Data Collection Phase – 
• Collect and process self‐response questionnaire responses. 
• Collect and process Update Enumerate questionnaire responses. 
• Support NRFU (administrative records modeling, remove cases from 
the workload if eligible, create NRFU workloads, provide Field 
Verification workloads, support NRFU re‐interview). 
• Collect and process group quarters enumeration responses. 

Post Data Collection Phase –  
• Conduct response data processing including race and Hispanic origin 
coding, residence coding, creating a final response file, running the 
Primary Selection Algorithm, and performing count imputation. 
• Create the Census Unedited File (CUF) (Stateside); send for 
development of an Apportionment Count prototype by Data Products 
Page 19 of 28 

Constraints/Issues 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 
•
•

Constraints/Issues 

and Dissemination.  
Create the Census Edited File (CEF).  
Create the Microdata File; send for data products prototype 
development by Data Products and Dissemination. 

Federally Affiliated American Count Overseas   (Judy Belton and Acting Branch Chief for Military and Overseas Enumeration Branch)
Out of Scope 

Publish Data 
Data Products and Dissemination (Jenny Kim and Jane Ingold)
Detailed planning for this operation has not started. The narrative that follows 
represents the Census Bureau’s preliminary thoughts as of the release of this 
document.  

•

Purpose  
Data Products and Dissemination operation performs three primary functions:   •
•
• Prepare and deliver the 2020 Census apportionment data for the 
President of the United States to provide to Congress by December 31, 
•
2020.  
• Tabulate 2020 Census data products for use by the states for redistricting. 
• Tabulate and disseminate 2020 Census data for use by the public.  

•
•
•

Tabulate and disseminate Census Redistricting Prototype File and release 
geographic products for use by the states for redistricting. We will use the 
selected test area(s) as the prototype for all states to review.  We will also 
have Voting Districts put back into current geography, with GEO’s help, 
prior to the test. 
Disseminate 2018 E2E data for use by the public. 
Include end‐to‐end system readiness in the test with replication of the 
2010 apportionment counts as well as the receipt of the 2018 E2E CUF. 
Create GEO shape files.  It is often included in the Redistricting Data 
Operation since it is part of the progression of the phases.  CRVRDO 
expects shapefiles and maps for the test area to be delivered with the 
prototype data tabulations. 
Development of summary levels to support both the Redistricting 
prototype and the Decennial product which is an API or Widget.  
Tabulation by ACS [a Decision made]. 
DCMD and POP have developed a strategy to fulfill the end‐to‐end testing 
for apportionment by replicating interface hand‐offs and replicating the 
2010 calculation with 2018 E2E test and verification plans.  

Page 20 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Redistricting Data (James Whitehorne) 
The purpose of the Redistricting Data operation is to provide to each state the 
legally required P.L. 94‐171 redistricting data tabulations by the mandated 
deadline of 1 year from Census Day: April 1, 2021. 

The  major components in the 2018 E2E include:  
•
•

Testing the method of product dissemination through CEDSCI and 
obtaining feedback from stakeholders 
Obtaining feedback from stakeholders on content of the data and support 
products included in P.L. 94‐171 data and geographic products.  

Count Review (Maryann Chapin) 
Out of Scope 

Count Question Resolution    (Evan Moffett)
Out of Scope 

Archiving (Jacqueline Eanes and Jennifer Saindon)





The purpose of the Archiving operation for the 2018 E2E Census Test is to 
provide files containing individual responses to the National Processing Center 
(NPC) to use as source materials to conduct the Age Search Service and to 
provide images and data for research and evaluations in CIRA through DMS. 

Archiving response data in DMS 
Archiving paradata in DMS 
Archiving for CIRA 
Archiving for NARA is out‐of‐scope 

Other Censuses 
Island Areas   (Jenny Kim and Will Caldwell) 
Out of Scope 

Page 21 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Test and Evaluation 
Coverage Measurement Design and Estimation   (Maryann Chapin and Tim Kennel) 
•

Develop the  initial survey design for the post‐enumeration survey (or  Survey Design 
CM survey) for the 2020 Census and test that all the planned 2020 CM 
operations implemented in the 2018 E2E are:  working as expected, 

that they are all integrated internally, provide the appropriate data 
required for estimation purposes, and that they are coordinated with 
the appropriate census operations.   

•

Develop the  initial sampling plan for the post‐enumeration survey (or 
CM survey) for the 2020 Census and test that all the planned 2020 CM 
sampling operations implemented in the 2018 E2E are working as 
expected, that they are integrated with the data collection and 
matching activities,  and that they access the appropriate census data. 
This will be the starting plan to develop the software systems to 
design and select the initial sample and subsequent subsampling 
operations to support the 2020 CM survey operations and the 
estimation of coverage estimates in the 2020 Census for the U.S. and 
Puerto Rico, excluding remote Alaska and Group Quarters.  

Overall Research Question:    
Does the proposed 2020 survey design allow 
us to:  
• Collect, match and process the data 
required to estimate net coverage 
and components of census coverage 
for persons and housing units?  
• Process and analyze all estimates 
before October 1, 2019? 

Constraint: 
• The milestone dates for disseminating 
coverage estimates is dependent on 
dates for producing the CUF and the 
CEF. 

•

•
•
•

Sampling timing and operational feasibility 
Persons in housing units, and housing units are in‐scope. 
Persons in group quarters, and group quarters are out of scope. 

Page 22 of 28 

Constraints:   
• Stratification and sample allocation 
will be limited by the small number of 
sites.  
• Stratification and allocation for the 
full coverage measurement sample in 
2020 will include additional variables. 

Issues: 
• What are the operational challenges 
associated with using ACS and 
Planning Database data to stratify the 
CM sample?  

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  
•

To test that all (or possibly a subset) of the planned 2020 CM estimation 
activities are working as expected, including accessing appropriate census 
data.   

•

This will be the starting plan to develop the software systems to produce 
2020 Census CM estimates of net coverage error and the components of 
census coverage for housing units and persons living in housing units for 
the U.S. and Puerto Rico, excluding Remote Alaska and Group Quarters. 

•
•
•

Scope 

Constraints/Issues 

Estimation timing and operational feasibility. 
Persons in housing units, and housing units are in‐scope. 
Persons in group quarters, and group quarters are out of scope. 

Constraints: 
• Estimates of net and gross coverage 
will be limited to the 2018 E2E sites.  
Matching outside the sites for 
duplicates and geocoding errors will 
not be possible since the census 
enumerations will be limited to sites.  
Furthermore full models for 
estimation cannot accurately be 
tested, because the 2020 models will 
have a larger sample size, making it 
possible to build larger models that 
draw strength from more areas.    
• Because Demographic Analysis is out 
of scope for the 2018 End to End 
Census Test, parts of the estimation 
process that use Demographic 
Analysis will not be fully tested prior 
to the 2020 Census. 

Coverage Measurement Matching   (Maryann Chapin and Magda Ramos)

CM Housing Unit Computer (Automated) Matching 

Design, develop and test CM Housing Unit Computer (automated) Matching 
for the 2018 E2E, as a prototype for the 2020 Census CM automation.  
 Move HU matching and follow‐up operations closer to the listing 
operation. 
 Test matching to a sample of housing units which appeared on the 
initial census, but were dropped at some point during census 
processing.  This may help with the match to non‐ID cases from the 
2020 Census. 
 Rely more on the automated matching systems than the clerical 
Page 23 of 28 

1. What are the requirements for computer 
matching for the CM program?   
2. Can we improve the matching software to 
be able to send fewer cases to clerical 
matching operations? 
3. How do changes on schedule of 
operations and survey design affect the 
matching results? 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  



Scope 

matchers. 
Automate the assignment of status codes and address information 
where possible. 
Determine if administrative records can be used in CM matching 
operations. 

Design, develop and test CM Housing Unit Clerical Matching for the 2018 E2E, 
as a prototype for the 2020 Census CM automation. 

1. Refine Clerical Matching System Approach; simplify the CM clerical 
matching tasks. 
2. Rely more on the clerical matching system than the clerical matchers. 
3. Automate the assignment of match codes and address information 
where possible. 
4. Develop and implement appropriate training. 

CM Housing Unit Clerical Matching 

Design, develop and test CM Person Computer (automated) Matching for the 
2018 E2E, as a prototype for the 2020 Census CM automation. 

CM plans to refine the approach used for 
clerical matching—– Plan to develop new 
approach that puts more of the matching 
rules logic in the system.  The new system 
would require the users to answer several key 
questions about a particular scenario, and 
using that information, the system would 
assign the appropriate code and determine 
any appropriate follow‐up actions.   
1. What are the requirements for the CM 
clerical matching system? 
2. What are the requirements for the map 
viewing system used by the clerical 
matchers to compare CM and census 
maps? 
3. How do changes on schedule of 
operations and survey design affect the 
matching results? 

CM Person Computer (Automated) Matching 
Page 24 of 28 

Constraints/Issues 

1. What are the requirements for the CM 
computer matching systems? 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

1. Test matching to a sample of persons which appeared on the initial census, 
but were dropped at some point during census processing.  This may help 
with the match to non‐ID cases from the 2020 Census. 
2. Rely more on the automated matching systems than the clerical matchers. 
3. Automate the assignment of match codes and address information where 
possible. 
4. Determine if administrative records can be used in CM matching 
operations. 
Design, develop and test CM Person Clerical Matching for the 2018 E2E, as a 
prototype for the 2020 Census CM automation. 

Constraints/Issues 
2. How do changes on schedule of 
operations and survey design affect the 
match results? 
3. How can we use alternative address 
information, if collected in the census?  
4. Can we implement matching to the 
imputation resulting from the use of 
administrative records? 

CM Person Clerical Matching and Geocoding 

CM plans to refine the approach used for 
clerical matching: 
Plan to develop new approach that puts more 
of the matching rules logic in the system.  The 
new system would require the users to 
answer several key questions about a 
particular scenario, and using that 
information, the system would assign the 
appropriate code and perform any 
appropriate follow‐up actions.   

1. Refine Clerical Matching System Approach; simplify the CCM clerical 
matching tasks. 
2. Rely more on the clerical matching system than the clerical matchers. 
3. Automate the assignment of status codes and address information where 
possible. 
4. Develop and implement appropriate training. 

1. What are the requirements for the CM 
clerical matching system? 
2. How do changes on schedule of 
operations and survey design affect the 
matching results? 

Page 25 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Coverage Measurement Field Operations  (Maryann Chapin and  Magda Ramos)
Design, develop and test CM Survey automation and implementation for the 
2018 E2E, as a prototype for the 2020 Census CM automation. 

CM Field Operations Overall 

Page 26 of 28 

1. What instrument form factor do we need 
for the CM Program? Laptop, tablet or 
smartphone?  Preference is to use 
laptops as was done in 2010. 
2. What are the effects of Reengineered 
Field Operations on budget and 
schedule? 
3. Can CM operations properly interact with 
the new and corporate data processing 
and field management software? 
4. How to ensure independence between 
the coverage measurement survey and 
the census?  
5. Can we process CM operations on a flow 
basis as census and CM operations finish 
by geography?  
6. What is the best schedule for the 
different CM data collection activities? 
7. Can SMaRCS be used appropriately to 
sample cases for CM QC of field 
operations? 
8. Test QC for CM field operations.  This will 
require automated quality control 
instruments. 
9. Use the same (or as similar as possible) 
demographic questions in the 2020 CM 
person operations as those used in the 
2020 Census.   
10. Determine any changes to the coverage 
questions, given the 2020 Census 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 
addition of similar questions in the 
census. 

CM Independent Listing (IL) 

1. How to automate and ensure appropriate 
implementation using the ECaSE 
application for CM Independent Listing 
from scratch (not using the MAF), and 
ensure appropriate implementation? 
2. Consider if we need to actually talk to 
respondents during IL to try to identify 
hidden units or whether we could do that 
during the CM Person Interview. 
3. Determine how to handle units identified 
as Group Quarters. 

1. How to improve on 2010 PV CAPI 
CM Person  Interview (PI) – Personal Visit (PV) 

instrument automation? 
Although the PI operation was automated in 2010, refinements are required to  2. Test any new  questions  needed for CM 
content and functionality and instrument needs to be operational with new 
given changes to census questionnaire, in 
corporate tracking and control systems and potentially with new instrument 
particular, coverage questions? 
development (authoring) language and/or new platform. 
3. How to automate and ensure appropriate 
implementation? 
CM Person Followup Interview 

1. Test any new questions needed for CM 
given changes to census questionnaire, in 
particular, coverage questions? 
2. How to automate and ensure appropriate 
implementation? 

CM Housing Unit Followup – implement one or two HU Followup operations, 
based on pre‐2018 E2E test research. (Do we need one after listing and 
another after the census is completed?) 

1. How to automate and ensure appropriate 
implementation using the ECaSE 
application for CM Initial or Final Housing 
Unit Followup, and ensure appropriate 
implementation? 

Page 27 of 28 

Operations  ‐‐ Goals, Scope, Constraints and Issues
Goals  

Scope 

Constraints/Issues 

Evaluations and Experiments (Maryann Chapin and Randall Neugebauer)

Out of Scope 

Document History 

Version  Date 

Changes 

1.0 

June 1, 2016 

Baseline to support Project Baseline Review (PBR) 

2.0 

August 26, 2016 

2.1 
2.2 

October 4, 2016 
October 14, 2016 

•
•
•
•
•
•
•
•
•

Updated for change in test name to 2018 End‐to‐End Census Test. 
Replaced older system names with to‐be system names based on Pega platform decision. 
Removed references to CARAT based on Decision Memo 2016.13.i. 
Updated references to C‐SHaRPS scope for consistency with final Request For Proposal. 
Updated to make Archiving operation in scope. 
Updated for consistency with current OII Vision document and with Business Process Models, and generally for currency and accuracy. 
Removed risks, questions and notes temporarily placed in Constraint / Issues column. 
Update program managers and points of contact for operations to reflect recent staffing changes 
Update High‐level Timeline.  Now in sync with IMS rebaseline of September 29, 2016. 

Page 28 of 28