OMB Memo for Phase III Cognitive Interviews

Methodological Research to Support the Redesign of the National Crime Victimization Survey: An 
Examination of a Twelve‐Month Reference Period 
Phase III‐ Cognitive Interviews 
GMS Award 2008‐BJ‐CX‐K071 

Purpose 
The National Crime Victimization Survey (NCVS) collects data on crime victimization in the United States. 
A nationally representative sample of households participates in this panel survey, where respondents 
ages 12 and over within the household report on crime incidents that they experienced in the six 
months prior to the interview. The Bureau of Justice Statistics (BJS) is considering changing the NCVS 
from a 6‐month to a 12‐month reference period. The research that NORC is conducting addresses 
methods of improving event recall and assesses respondent burden with the 12‐month reference period 
in the telephone mode.  

In Phase I of this methodological research NORC completed a literature review to help inform the design 
of the study.  In Phase II NORC developed memory aids to be cognitively tested in Phase III.   Earlier 
memos to the OMB described the overall design of the study and the Phase III cognitive interviews.  As a 
result of feedback from OMB and discussions with BJS and the Census Bureau, NORC has implemented a 
number of changes in the design.  This memo lists the key changes to the study and presents a 
description of the current methods for the Phase III cognitive interview research. 

Summary of Key Changes to the Design of the Study 
A number of modifications to the study design have been implemented.  These are summarized below: 

 The web mode has been dropped.  The research will be conducted only in the telephone mode. 
 A new condition will be added to the study—a 6‐month reference period condition with the 
basic NCVS screener.  This condition allows for a comparison between the 12‐month reference 
period (which is the reference period for the control and memory aid conditions in this study) 
and the 6‐month reference period currently used by the NCVS.  The 450 cases that had been 
assigned to the web mode are now in the 6‐month condition. 
 The study will be referred to as the “Survey of Crime Victimization” in respondent materials.   
 The Event History Calendar (EHC) has been integrated more fully with the NCVS crime screener.  
Previously, the EHC was completed as a separate module prior to completion of the crime 
screener.  Now for each crime elicited during the crime screener, respondents will be referred 
back to events they placed on their calendars and asked to provide a date (month) for the 
incident.  The crime incidents will be added to the respondent’s EHC.  
 The cognitive interviews will be recorded with permission of the respondent.  With the greater 
focus on the EHC and interviewer‐respondent interactions with the EHC, the recordings will 
facilitate analysis of the cognitive interview data. 
 Respondents will be asked permission to access any available police reports only after the 
cognitive interview has been completed.  If the respondent agrees, he/she will give NORC 
written permission to contact police agencies to obtain the reports. 
 The compensation amount to be offered respondents for the cognitive interview is $40. 
 The race questions have been changed to conform to OMB standards. 
 The language on privacy has been revised to conform to standard confidentiality pledge 
language. 

NORC Memo to OMB 
June 24, 2010—page 1 

Summary of Phase III‐Cognitive interviews 
Two memory aids, Enhanced Contextual Priming (ECP) and the Event History Calendar (EHC) will be 
iteratively tested and refined during the Phase III cognitive interviews.  NORC views cognitive 
interviewing as a tool that explores the respondent’s understanding of the survey questions and the 
cognitive processing to formulate an answer.  The scripted and unscripted cognitive probing during the 
interview is directed toward understanding these issues.  After each cognitive interview, NORC will also 
ask the respondent for feedback on the interview experience. This feedback will include the 
respondent’s overall interview experience, suggestions for improving the survey, and an open question 
and answer period for the respondent and interviewer.  Respondents will be recruited through 
advertisements to test the entire survey (screener plus incident report); they will be given $40 in 
compensation for their participation in the cognitive interviews. 

Some key features of the revised EHC: 
 Respondents will be asked to name personal landmark events of their choosing to place on the 
calendar.  No specific cues on the types of events to place on the calendar are provided unless 
the respondent has difficulty naming events.  More direct questions for prompting the 
respondent to name personal landmarks are provided in the questionnaire for the interviewer 
to use if needed. 
 As respondents report crime incidents they experienced in response to the NCVS screener 
questions, the interviewer will reference other events the respondent has placed on the 
calendar and ask the respondent to place the crime incident on the calendar.  This more 
interactive approach may enhance the ability of the calendar to aid respondents in recalling 
crime incidents and in determining when the incidents occurred.   
 The quarter‐by‐quarter questioning that was incorporated into selected screening questions in 
prior versions of the EHC has been eliminated.  Mock interviews conducted with survey staff at 
NORC revealed that breaking down the 12‐month reference period into quarters was highly 
burdensome. 

Event History Calendar Instructions to Respondent 
INTERVIEWER: I am interested in the crimes that you may have experienced in the last 12 months, that 
is, since [MONTH 1‐REFERENCE PERIOD START].  It might be difficult to remember things that happened 
as long as a year ago.  Sometimes people find it helpful to think about a calendar to remember what 
happened and when it happened.  Let’s note some dates on the calendar that may help you remember 
things. For example, looking back 12 months ago, there was… 
 [INTERVIEWER:  READ THE HOLIDAYS FROM MOST DISTANT TO MOST RECENT.  FOR EXAMPLE, IN JUNE, 
START WITH FOURTH OF JULY AND END WITH MEMORIAL DAY IN MAY. ] 
…New Year’s Day in January, St. Patrick’s Day in March, Memorial Day in May, the Fourth of July, Labor 
Day in September, and Thanksgiving in November. 
Now let’s put some things that are specific to you on the calendar.  What are some the things that 
happened to you this past year, that is, since [MONTH 1‐REFERENCE PERIOD START].  While you tell me 
about the things that happened this past year, I am going to take notes on a calendar.   

RECORD RESPONDENT’S EVENTS ON CALENDAR.   

NORC Memo to OMB 
June 24, 2010—page 2 

We expect that respondents will provide such events as residential moves, job changes, holidays, 
vacations, and births or deaths in the family for the calendar.   

If respondents have difficulty naming landmark events, the interviewer will provide prompts: 

READ IF NECESSARY: 
Are there dates for things that happened since last [MONTH 1‐REFERENCE PERIOD START] that we can 
note on the calendar? It does not have to be an unusual or important event, just anything that you 
remember that happened since [MONTH 1‐REFERENCE PERIOD START].   

IF THE RESPONDENT DOES NOT RECALL ANY EVENTS, ASK MORE POINTED QUESTIONS: 
Did you or anyone in your family: 
 Go on vacation or to a family event? 
 Change jobs, get a promotion? 
 Move to a different house or apartment? 
 Was there a wedding, birth or death in the family?   

Respondents who are unable to think of any landmark events after the additional prompting will be 
asked about their residence and employment/educational history for the past 12 months. 

NORC has included preliminary documents for each step of the cognitive process and the versions of the 
NCVS screener with this submission. Although a substantial number of probes will be scripted in 
advance, much of the probing will be unscripted as well.  The unscripted probing will address 
unanticipated issues that may arise and issues that are specific to some respondents.  Further, each 
respondent’s EHC will be unique, and will likely require unscripted probing.  The cognitive testing will 
occur iteratively.  After several interviews, revisions to the instruments will be implemented and further 
interviews conducted. 

NORC will provide continuous feedback to BJS on the progress of cognitive interviewing, including the 
types and frequency of unscripted probing required, participant responsiveness to the EHC format and 
unanticipated issues that arise during cognitive interviewing. Approximately 2‐3 weeks after the 
beginning of the cognitive interviews (after completion of approximately 30‐50 interviews), BJS will 
provide OMB with an update on the progress of interviewing. If issues arise before the scheduled 
progress report that suggest more extensive revisions to the materials will be necessary, BJS will contact 
OMB to discuss the findings. 

When the instruments have been thoroughly tested and no further modifications are necessary, NORC 
will end cognitive interviews.  The final sample size will be dependent upon the results of the cognitive 
interviews with a maximum of up to 100 cognitive interviews being conducted. 

Respondent Burden 
We expect the length of the cognitive interview to be between 45 minutes and 1 hour.    Compared to 
the ECP interviews, the EHC interview may show more variability in length because of its interactive 
nature. 
Technical Documentation for Phase III 
NORC Memo to OMB 
June 24, 2010—page 3 

In the cognitive interviews, NORC will test and refine the memory aids (EHC and ECP). The cognitive 
interviews will examine: 

 Ease of respondent understanding and ability to complete the EHC and ECP protocols 
 Effectiveness of the EHC and ECP in enhancing recall of crime incidents 
 Burden of using EHC and ECP 
 Respondent understanding of the interview instructions 
 Interview timings 

At the time of recruiting, respondents will be assigned to an experimental condition at random. 
However, attention will be paid to assure distribution of respondents of different demographics (gender, 
age, education level) to each condition. Most of the cognitive interviews will be conducted with either 
the EHC or ECP, but some will be conducted in the control condition (no memory aid) to compare the 
interviews in terms of timing, burden, and other factors.  All participants in the cognitive testing will be 
asked to come to NORC’s offices in Chicago. Study procedures will be explained, respondents will 
complete the screener with one of the memory aids, and they will complete the NCVS modified incident 
report.  Respondents will be cognitively probed during and after completion of the survey.  They will 
complete a short debriefing and receive the $40 compensation for their time. Below is a step‐by‐step 
guide for the cognitive interview process. 

Step 1: Recruitment.  
Please refer to the document Step 1_Advertisement_Final_061610.pdf:  
NORC will use flyers or advertisements in newspapers to solicit interested participants. The flyers will 
display a recruitment telephone number individuals can call to express their interest. NORC will use local 
Chicago field staff to distribute these flyers in public places across neighborhoods in Chicago. Flyers will 
be posted in libraries and grocery stores. In addition, NORC has contacts within several community 
organizations, and they have expressed a willingness to distribute our flyers to their clientele. These 
community organizations include the Chicago Urban League, Ada S. McKinley Center and the Abraham 
Lincoln Center.  

Cognitive interviews will be conducted in two separate locations at NORC. Location will be determined 
by respondent accessibility and convenience. NORC has offices on the University of Chicago campus 
which is located on the south side of Chicago. NORC also has offices located in the downtown 
metropolitan area, which is accessible by several modes of public transportation.  

Step 2: Contact Interested Participants.  
Please refer to the document Step 2_Call In Script_FINAL_062410.pdf  
 NORC will contact interested individuals to explain the purpose of the study and their role. If, after 
listening to this description, the individual is still interested, the Cognitive Interview Screening Questions 
will be asked (Step 3).  Respondents will be informed that the cognitive interviews will be recorded.    In 
NORC’s experience, almost all respondents agree to have their cognitive interviews recorded.  Because it 
would be preferable to have a tape recording of the interview for analytic purposes, we will give priority 
in scheduling to those who agree to recording.  If a higher percentage than anticipated decline the 
recording, we will also schedule respondents who have indicated they do not want to be recorded.  
Since the recording is particularly valuable in assessing the EHC interview, those respondents who refuse 
recording will be assigned primarily to the ECP or control (no memory aid) conditions.  As described in 
Step 4, respondents will be asked again for permission to record before the interview begins.  Those 
who decline recording at that point will still be interviewed but without being recorded. 
NORC Memo to OMB 
June 24, 2010—page 4 

Step 3: Cognitive Interview Screening Questions.  
Please refer to the document Step 3_Screening questions_FINAL_062410.pdf 
Interested individuals will be asked a series of background demographic questions.   

As part of the screening process for the initial cognitive interviews, respondents will be asked if they 
have experienced a crime in the last 12 months.  We will focus on interviewing crime victims at this 
stage in order to test the functioning of the EHC interaction during the crime screening and to test the 
modified incident report.  As we progress we may cease screening on whether respondents had 
experienced a crime and broaden the scope of the respondent pool to include both victims and non‐
victims.  At that time we will use a flyer that asks respondents to participate in a crime survey (this flyer 
is also included in this submission:  Step 1_Advertisement2_Final_062410.pdf; further, the Step 3 
screening question on whether potential respondents have experienced a crime would be omitted.  This 
broader pool of respondents will be told that the name of the study is the “Survey of Crime 
Victimization” during the recruitment and screening process, but they will not have been explicitly asked 
to think of their own victimization experiences prior to completing the survey.  This will give NORC the 
opportunity to examine how the process of completing the calendar or answering the priming questions 
may help respondents access memories of crime incidents. Whether the EHC and ECP enhance recall of 
additional crime incidents beyond what the NCVS screening questions would yield cannot be 
determined in the scope of the cognitive interviews.  However, we may learn that some respondents are 
indeed reminded of specific incidents as they complete the EHC and ECP, which would suggest that 
these memory aids will be effective in enhancing recall of crime with a longer reference period. 

Respondents will also be informed that it is possible that a member of the research team 
(representative from BJS or another NORC researcher) will observe the interview.  We expect most 
respondents will agree to this request but we will still interview those who refuse.   If an observation will 
take place during the respondent’s interview, permission will be requested again during the consent 
process.  

After the recruitment and screening process, an appointment will be scheduled with eligible and 
interested participants to come to one of NORC’s offices to complete the cognitive interview. 

Step 4: Introduction to the NCVS. 
Please refer to the document Step 4_Consent_062410.pdf 
 Prior to the start of the interview, a short introduction will be read to the respondent. This introduction 
reiterates the purpose of the study, acknowledges the survey is voluntary, that they can refuse to 
answer any question or stop the interview at any time; in addition, it assures confidentiality of 
responses.  Respondents will also be asked permission to record the interviews.  If a respondent does 
not agree to be recorded the interview will proceed without recording.  If the interview is to be 
observed, respondents will be informed of this and asked to give permission for the observation; 
observation will take place only if the respondent consents. 

Step 5: Cognitive Interview.  
Please refer to the following documents: 
1) Enhanced Contextual Priming Screener_FINAL 061610.pdf 
2) Event History Calendar Interactive Screener_FINAL 061610.pdf 
3) NCVS‐1 Control Screener_FINAL 061610.pdf 
4) NCVS2_Modified Incident Report.pdf 
NORC Memo to OMB 
June 24, 2010—page 5 

5) Probes_EHC‐ECP_061610.doc 
6) Procedures for upset sample members_Support Sources_FINAL 062410.pdf 

The respondent will be randomly assigned to complete the Enhanced Contextual Priming, Event History 
Calendar or the control version of the screener followed by the modified incident report.  Some initial 
interviews will be face‐to‐face to allow the interviewer to directly observe the respondent’s non‐verbal 
behavior during the interview; most interviews will be in the telephone mode. Respondents will come in 
to NORC’s Chicago office to be interviewed.  

NORC will conduct telephone cognitive testing in the office by seating respondents and interviewers in 
adjacent rooms where they speak by telephone. This procedure allows the interviewers to meet 
respondents in person to explain the study and procedures before conducting the telephone interview 
and to debrief in‐person after the telephone interview. 

In response to a request by NORC’s IRB, we have developed a protocol for upset sample members for 
those who may become upset during the cognitive interviews, and a frequently asked questions (FAQ) 
list. Please refer to the following document Procedures for upset sample members_Support 
Sources_FINAL 062410.pdf for the protocol for upset sample members. The FAQ list has been 
embedded within the document, Step 2_Call In Script_FINAL_062410.pdf. 

Step 6: Debriefing Interview.  
Please refer to documents Step 6_Respondent Debriefing SAQ_FINAL_062410.pdf and Procedures for 
obtaining Police Report_Final_061610 .pdf 
Although much of the cognitive probing will occur during the interview itself, the respondent and 
interviewer will complete a short debriefing at the conclusion of the cognitive interview.  This debriefing 
will ask for any additional feedback the respondent has related to their experiences with the EHC or ECP 
as well as the NCVS incident report.  Respondents will be asked to provide any general feedback they 
may have on the memory aids.  The interviewer will address any questions the respondent may have 
about the interview, provide the $40 compensation, and have the respondent sign the compensation 
receipt.  The interviewer will then ask permission from the respondent to obtain police reports for any 
crime incidents reported. 

Cognitive Interview Analysis 
NORC will conduct analysis that focuses on the design of the memory aid materials and on interviewer 
and respondent feedback about the materials. Since the materials will be iteratively modified during the 
testing to arrive at optimal designs, significance testing to determine which materials yield better recall 
will not be conducted. 

While determining which memory aid condition produces better recall is not possible with cognitive 
interview data, some aspects of the data may yield clues as to the effectiveness of the memory aids.   

The EHC analysis will focus on: 
 How easy or difficult is it for respondents to name personal landmarks to place on the calendar?  
Can respondents provide landmarks without additional prompting by the interviewer? 
 How easy or difficult is it for respondents to place crime incidents on the calendar (requires 
recalling the month in which the crime occurred). 
 Do respondents feel that completing the EHC helps them remember the reference period and 
crimes that occurred during that period? 
NORC Memo to OMB 
June 24, 2010—page 6 




Do respondents find the calendar helpful, burdensome? 
How many events and what types of events do respondents place on the calendar?  What types 
of events are most frequently placed on the calendar? 
What is the interviewer’s experience in conducting the interview with the EHC?   



With the ECP, the analysis will focus on: 
 How well do respondents understand the ECP questions? 
 Do respondent think the priming questions enhance recall of crime? 
 Do respondents find the ECP questions helpful, burdensome? 
 What is the interviewer’s experience in conducting the ECP interview? 

Police reports can provide validating information on key characteristics of the crime incident: date and 
time of the incident, location, and details of the incident. Police report data will enable NORC to 
examine differences in recall errors for different crime characteristics and to obtain preliminary 
information on which memory aids produced the most accurate data about a crime incident. As 
described above, NORC will seek respondent permission to obtain a copy of the police report.  NORC will 
approach local police jurisdictions to attempt to obtain the police reports.  We will compare the 
information on the police reports to the survey data to determine how well these two sources of 
information match.   

To assess respondent burden, NORC will use both timing data and respondent and interviewer reports 
on the level of burden. NORC will collect timing data for each condition and compare times across 
conditions.   NORC will also debrief interviewers to obtain their opinion on respondent engagement and 
how easy the materials are to use.  In addition, the data will be explored for signs of excessive 
respondent burden. For example, increasing numbers of “don’t know” responses toward the end of the 
interview would signal a potential problem with burden. NORC also will conduct analyses to compare 
the level of burden in interviews involving more sensitive (e.g., sexual assault) vs. less sensitive crimes.

NORC Memo to OMB 
June 24, 2010—page 7