Attachment A2

Date:  March 11, 2011 
To: 

Nathan Dietz 
Corporation for National and Community Service 

CC: 

JoAnn Jastrzab 
Abt Associates 

From:  Benjamin Phillips, Courtney Kennedy 

Abt SRBI 
Johnny Blair 
Abt Associates 
RE: 

Results of Round 1 Cognitive Testing 

This memo summarizes the results of cognitive testing for the November 2011 Civic 
Engagement Supplement (CES) to the Current Population Survey (CPS), conducted by 
Abt Associates on behalf of the Corporation for National and Community Service (CNS), 
with a focus on items for which systematic problems were identified. A final report on 
cognitive testing—including the results of a second round of testing, if ordered—will 
describe the results in greater detail. Johnny Blair, director of the Abt Associates 
Cognitive Testing Laboratory, is presently analyzing the cognitive testing. 
Methods 
A total of 15 interviews were completed in the period February 23‐March 1, 2011 at the 
Abt Associates Cognitive Testing Laboratory in Bethesda. Respondents were selectively 
recruited for diversity with respect to age, sex, and socioeconomic status from a third‐
party contractor. Interviews took approximately one hour and were video recorded for 
subsequent analysis. Respondent demographics are summarized below. 
Age 
18‐24 
25‐34 
35‐44 
45‐54 
55‐64 
65+ 

Count 
1
3
2
6
1
2

Abt SRBI Inc. 55 Wheeler Street Cambridge, MA 02138 Phone 617.386.2600 Fax 617.386.2622 www.srbi.com
Cambridge Chicago North Carolina New York City Washington D.C. Florida New Jersey Cincinnati

2 
Sex 
Male 
Female 

Count 
8
7

Household Income 
$50,000 or less 
More than $50,000 

Count 
8
7

Education 
High school or less 
Some college 
College graduate 
Advanced degree 

Count 
8
3
3
1

Adults in HH 
1 
2 
3 

Count 
5
8
2

The cognitive interviewing protocol consisted of both preexisting items and items being 
considered for inclusion. The number of new exceeded the expected space available, 
with the understanding that some items would be found not to work or otherwise 
excluded. The new items were integrated into a series of items from the November 
2009 CES (the most recent nonelection year version) in a sequence that was designed to 
provide an appropriate substantive “flow.” The cognitive testing protocol is found in 
Appendix A. 
Results 
Results are organized by the order in which the questions appeared in the cognitive 
testing protocol and refer to the question numbers found in the protocol. Only items 
that for which systematic issues were found are discussed; items not covered in this 
memo were not identified as problematic. Item wording is recapitulated for ease of 
reading. 

3 
Q1 

In any election, some people are not able to vote because they are sick or busy or 
have some other reason, and others do not want to vote. Thinking about recent 
local elections, have you voted in all of them, most of them, some of them, or 
none? 
(1) All of them 
(2) Most of them 
(3) Some of them 
(4) None 

Problems existed with respect to comprehension of “recent” and “local elections.” 
Respondents had various ideas of what constituted “recent.” Some thought back only to 
last September while others considered elections in 2009 or before to be recent. 
Similarly, there was lack of agreement between respondents as to what constituted a 
“local election.” When probed, some respondents could not settle on a definition they 
felt sure of. Other definitions provided by respondents appeared to be in error, with 
some giving the last presidential election as an example. In addition to the specific 
problems with the wording, other respondents appeared to miss the “local” qualifier 
and treated it as all elections. 
Q4 

Have you watched an online video that supports or opposes a candidate, party, 
political organization, or public policy campaign in the past 12 months, that is 
between November 2010 and now? 
(1) Yes 
(2) No 

This question was difficult for respondents to follow and keep all parts of the question in 
mind. It often had to be reread a second time. A consequence of the length and 
complexity of this question was that some respondents answered before hearing the 
entire question, thereby missing either the political entities, the reference period, or 
both. 
Q5 

Next, I will give you a list of types of groups or organizations in which people 
sometimes participate. Have you participated in any of these groups during the 
last 12 months, that is between November 2010 and now: 
(c) 

A sports or recreation organization such as a soccer club or tennis club? 
(1) Yes 
(2) No 

Some respondents included just getting together with friends to watch a game in this. 
Q8 

Have you worked on a community project in the past 12 months? 

4 
(1) Yes 
(2) No 
The meaning of “community project” caused some difficulty. This was particularly true 
for determining what constituted a “project.” There were several dimensions to this: 
perception of a “project” as being short‐term and perception of a “project” as 
necessarily involving working in a group. Some respondents thought only short term 
volunteer work counted as a project and would not have counted longer term 
commitments. Other respondents did not count work they did alone: one respondent 
who worked through his church helping the homeless did not think his work was a 
community project because he worked alone while a person who taught English to kids 
at a Jewish Community Center answered no for the same reason—he worked alone 
rather than as part of a group. 
Another source of confusion was the definition of “work”—whether paid work counted. 
One respondent was employed by the Salvation Army to work with troubled teens. 
Because it was his regular job, rather than volunteer work, he was not sure how to 
answer. 
Other respondents, by contrast, applied a broad definition of what constituted “work” 
or a “project,” answering affirmatively based on reading about a community issue or 
emailing their community association about some issue. Looking at the general lack of 
negative feedback about the “community” aspect of the project, it seemed to be 
broadly understood in the fashion intended by CNS: an effort aimed at solving problems 
in their local area. 
Q9 

Within the past twelve months, have you personally walked, ran, or bicycled or 
done anything else for a charitable cause? This is separate from sponsoring or 
giving money to this type of event. 
(1) Yes 
(2) No 

The qualification at the end is sometimes missed. For example, someone who had 
sponsored his son in an event answered yes. 
Q18 

We’d like to know how much you trust people in your neighborhood. Generally 
speaking, would you say that you can trust them a lot, some, only a little, or not 
at all? 
(1) A lot 
(2) Some 
(3) Only a little 
(4) Not at all 

5 
Problems were found with the construct of “trust.” The word “trust” was unclear to 
some respondents and elicited strong negative reactions from others. A common 
response was “trust [neighbors] to do what?” Respondents considered a wide range of 
possible situations when trust might be relevant and could not settle on an answer. 
They might trust people to do some things, but not others. Examples ranged from 
shoveling snow to taking care of a child. 
Q21 

I am going to name some institutions in this country. As far as the people running 
these institutions are concerned, would you say you have a great deal of 
confidence, only some confidence, or hardly any confidence at all in them? 
(a) Banks and financial institutions 
(b) Major companies 
(c) Small and local businesses 
(d) Organized labor 
(e) The print media, such as newspapers and news magazines 
(f) Electronic news media, such as television and cable news 
(g) Independent or citizen media, such as an online blog 
(h) The scientific community 
(i) Public schools 
(j) Religious institutions 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 

Respondents had three types of problems with this question. First, the concept of 
“people running these institutions” did not seem to make sense for things like “the 
scientific community” or “citizen media.” 
Second, respondents sometimes had widely varying feelings of confidence concerning 
particular institutions, having a lot of confidence in some members of that institution 
and none at all in others. These respondents sometimes could not settle on an answer. 
Other times they would settle for the middle category “some confidence,” even though 
that seemed to mean some “some institutions” or “some people,” rather than “some 
confidence” in the institution as a whole or the people running it as a group. 

6 
Third, a few respondents did not understand what some of the categories of institutions 
meant, particularly “organized labor,” “scientific community” and “citizen media,” but 
also “major companies.” Most respondents who gave specific examples of the “scientific 
community” thought of services provided—e.g., by a hospital or by the National 
Institutes of Health—rather than scientific research or teaching. 
Recommendations 
Q1 
Separate from cognitive testing observations, the frequency‐based response scale (all, 
most, some, none) appears to be odds with the question text. This implies that the 
“recent” period should cover multiple local elections. Depending on the frequency of 
local elections in the respondent’s place of residence, this would be four years at 
minimum (for states with two year election cycles) to eight or more years (for states 
with four year election cycles). 
The proposed Q1 is a new item and does not appear to have been used in previous 
surveys based on a review of the American National Election Survey (ANES), General 
Social Survey (GSS), and iPoll databank. Given the serious problems encountered in 
cognitive testing and the absence of comparability problems if item wording is revised, 
we recommend rewording the item and testing in a second round of cognitive 
interviewing. 
An equivalent GSS item (LOCVOTE) is worded as follows: 
What about local elections ‐‐ do you always vote in those, do you sometimes 
miss one, or do you rarely vote, or do you never vote? 
As this appears to tap the same construct without the problematic term “recent,” the 
shorter length, and earlier mention of the “local” qualifier, we recommend testing this 
wording in a second round, particularly as it retains the potentially problematic “local 
elections” wording. If desired, an example could be added, e.g., “What about local 
elections, like for mayor ‐‐ do you always vote…” although this would lengthen the item 
and may create additional sources of error. 
Q4 
The proposed Q4 is a new item and does not appear to have been used in previous 
surveys based on ANES, GSS, and iPoll. The most comparable items identified came from 
the Pew Internet and American Life Project Post‐Election Tracking Survey of 2008 and 
the National Annenberg Election Survey. These both focused on the 2008 elections. 
Pew items (Q25d, e, g, and i): 

7 
There are many different activities related to the campaign and the elections 
that a person might do on the internet.  I’m going to read a list of things you may 
or may not have done online in the past year related to the campaign and the 
elections.  Just tell me if you happened to do each one, or not.  Did you… 
Watch video online from a campaign or news organization? 
Watch video online that did not come from a campaign or a news 
organization? 
Share photos, videos or audio files online that relate to the campaign or 
the elections? 
Annenberg item (I13): 
I’m going to read you a list of some things people can do online. For each one, 
please tell me if that is something you have done (in the past week) (During the 
presidential campaign). 
Have you viewed video on sites like YouTube about the presidential 
candidates or campaign? 
These items benefited from the focus provided by the 2008 election campaign. No such 
focus is available, however, for the CES and the question is necessarily more 
complicated. A major issue appears to be the number of conditions involved. This 
imposes a high cognitive burden on respondents. To reduce burden, we propose 
separating the item into several questions so that the logical conditions can unfold in 
the process of the survey. In addition, we exploit the fact that political parties are 
political organizations to reduce the number of items. Finally, we change “public policy 
campaign” to “public policy” because political online videos tend to be the substance of 
public policy campaigns rather than supporting or opposing campaigns per se. Possible 
items are as follows: 
Have you watched an online video in the past 12 months? 
(1) Yes  
(2) No   

Continue 
Skip to next bank 

I’m going to read you a list of some videos you may have watched online. For 
each one, please tell me if it is something you watched in the past 12 months 
that supports or opposes: 
A political candidate 
(1) Yes 
(2) No 

8 
A political organization 
(1) Yes 
(2) No 
A public policy 
(1) Yes 
(2) No 
We recommend additional testing of any changes to the item. 
Q5(c) 
The response to this item appears to be idiosyncratic. The item appears to be worded 
clearly and explicitly. We recommend continued monitoring of this item in a second 
round of interviewing. 
Q8 
This item appears to be very close to items in the September Volunteer Supplement to 
the CPS (we cite question numbers from the 2009 instrument). It combines aspects of S1 
(done any volunteer activities), S2 (probe for activities done infrequently), the coding 
categories of S4A1 of “civic organization” and “social or community service group,” and 
community volunteer involvement in S17: 
Now I'd like to ask about some of (your/NAMES) involvement in (your/his/her) 
community. Since September 1st, 2008, (have you/has he/has she) attended any 
public meetings in which there was discussion of community affairs? 
and S18: 
Since September 1st, 2008, (have you/has he/has she) worked with other people 
from (your/his/her) neighborhood to fix a problem or improve a condition in 
your community or elsewhere? 
The need for the additional probe of S2 and the additional items of S17 and S18 
highlights some of the difficulties facing Q8 as a stand‐alone item. Setting aside the 
question of paid employment on community projects, it appears that voluntary 
engagement in community activities is a strict subset of the volunteering and 
community activities identified in the September supplement. To the extent that the 
expectations of CNS regarding what constitutes work on a “community project” diverge 
from the September items, targeted follow‐up questions could be asked of recontact 
respondents who completed the September supplement and were identified as 
volunteering under S1 and S2 and/or community engagement in S17 and S18. 

9 
By virtue of its focus on volunteering, which prima facie appears to include one‐on‐one 
activities like tutoring, the September supplement items appear to avoid the problems 
encountered by respondents who had worked alone. 
The question of whether or not paid work should be included in this item should be 
addressed by CNS. If paid work is to be included and responses to the September 
supplement are taken into account, an item could be added on paid work on the kinds 
of activities that are the subject of S17 and S18. 
Q9 
Respondents who answered yes to sponsoring may be confused by “or done anything 
else” for a charitable cause, which under its plain meaning would appear to include 
giving money or donating goods. The socially desirable nature of participation in 
charitable events may encourage respondents to broadly interpret this clause. Judging 
by the walk‐, run‐, bicycle‐a‐thon context, this question appears to focus on activities 
aimed at raising money for charity and would include activities like collecting money for 
a cause outside a supermarket. If so, the wording could be changed to “or done 
anything else to raise money for a charitable clause.” To clarify the distinction between 
giving money and raising money, the question could be preceded by an item on 
sponsorship and/or giving money in a previous item. The items could be worded as 
follows, using ANES wording for the general charitable giving item: 
Many people are finding it more difficult to make contributions to church or 
charity as much as they used to. How about you—were you able to contribute 
any money to church or charity in the past 12 months? 
(1) Yes 
(2) No 
In the past 12 months, have you personally walked, ran or bicycled, or did 
anything else to raise money for a charitable cause? 
(1) Yes 
(2) No 
Q18 
The best known items on trust focus beyond the immediate neighborhood, such as the 
GSS item TRUST/ANES item K3/K8: 
Generally speaking, would you say that most people can be trusted or that you 
can’t be too careful in dealing with people? 
GSS also fielded a version with “most” removed (CANTRUST): 

10 
Generally speaking, would you say that people can be trusted or that you can’t 
be too careful in dealing with people? 
Bearing in mind reduction of the response categories from the proposed CES item from 
four (a lot, some, only a little, not at all) to two (can trust, cannot depend) plus an 
unread option (depends), we recommend testing a modification of the ANES/GSS item: 
Generally speaking, would you say that most people in your neighborhood can 
be trusted or that you can't be too careful in dealing with people in your 
neighborhood? 
This would enable comparisons with the more generalized trust items from ANES and 
GSS. While this does not directly address the “trust to do what” problem raised by some 
respondents, it is possible that the simpler wording and fewer response options will 
pose fewer problems. An alternative course of action, which is problematic in light of 
the limited space available, would be to break out trust with respect to several specific 
situations, e.g., trust to keep your mail when you are away, trust to water your plants, 
trust to look after a child. We recommend additional testing of any alternative wording. 
Q21 
This set of questions was asked in an August 11‐16, Associated Press/GfK poll. In 
addition, the AP/GfK survey had items regarding trust of the people running “the 
military,” “the federal government,” “state government,” “local government,” “the U.S. 
Supreme Court,” “state courts,” and “the U.S. Congress.” In turn, the stem and some 
institutions are identical to the GSS items, specifically CONFINAN (banks and financial 
institutions), CONBUS (major companies), CONLABOR (organized labor), and CONSCI 
(scientific community). Other items are related to GSS items: “the print media, such as 
newspapers and news magazines” deviates from the GSS item CONPRESS (“press”); 
“electronic news media, such as television and cable news” deviates from the GSS item 
CONTV (“TV”); “public schools” deviates from the GSS item CONEDUC (“education”), 
and “religious institutions” deviates from the GSS item CONCLERG (“organized 
religion”). Other items do not have parallels: “small and local businesses” and 
“independent or citizen media, such as an online blog.” While the problems identified 
with the use of “the people running these institutions” are serious, we recognize that 
deviation from a long‐standing and consistent set of items may reduce the utility of the 
survey. We recommend testing a revised version with the reference to people running 
institutions removed and with specific probes for respondents on whether and, if so, 
how they would have answered differently had mention been made of the people 
running institutions. The worded version could be as follows: 
I am going to name some institutions in this country. As far as these institutions 
are concerned, would you say you have a great deal of confidence, only some 
confidence, or hardly any confidence at all in them? 

11 
If comparability is an important objective for CNS, we recommend testing the original 
GSS wordings for Q21(e), (f), (i), and (j) with probes asking whether respondents would 
have answered differently under the proposed wordings. We recommend similar tests 
for substituting “labor unions” for “organized labor” in Q21(d). The problems with 
“major companies” in Q21(b) may be idiosyncratic and we recommend retaining the 
original wording while paying special attention to any problems respondents have in an 
additional round of testing. 
Based on respondent comments, Q21(g) appeared to be particularly problematic, with 
the term “citizen media” apparently lacking the familiarity of the other institutions listed 
in Q21. The term was coined in 2001. It appears that “citizen media,” as most commonly 
used, encompasses individuals without a background in journalism who report on news. 
“Independent media” refers to the separate construct of trained/experienced 
journalists reporting on news outside of established infrastructure like a news 
organization; it is unclear to us whether this definition would include or exclude 
nonprofit initiatives like ProPublica. The clarification, “such as an online blog,” may be of 
limited use given that established news organizations make extensive use of blogs and 
many blogs by individuals without a background in journalism do not focus on news.  
In light of the limited knowledge of “citizen media” and its apparent substantive 
differences from “independent media,” we recommend separating these items and 
describing the substance of each according to the definitions above. 
News reported online by people who are not trained journalists 
News reported online by trained journalists working outside of major news 
outlets 
Alternatively, given these are emergent forms, it may be more helpful to know the 
extent to which individuals access such news. 

12 
Appendix A: Cognitive Testing Protocol 
Testing Protocol 
Participant ID #: 

|   |   |   |   |   |  

Interview Date: 

|   |   | / |   |   | / | 2 | 0 | 1 | 1 | (mm/dd/yyyy) 

Interviewer Initials:  |   |   |  
Start Time: ____________ AM / PM 

End Time: ____________ AM / PM 

Section 1: Interviewer: Read/ Paraphrase the following text:  

Hello. My name is ________________. I work for Abt Associates, a research 
company that does work under contract mainly for federal agencies. Thank you 
for agreeing to participate in our study. 

Human subjects requirement (prior to starting the recorder) 

Confidentiality: Before we begin, I need to be sure you understand that our session today is 
completely confidential. Your participation in this study is completely voluntary 
and you can decline to answer any particular question. 

Incentive: 
In appreciation for your participation, you will receive an American Express gift 
card for $40. 

Recording: 
So I don’t have to rely on my memory later on, this session is being video 
recorded. That way, I can focus today on what you’re saying rather than having 
to concentrate on taking notes. 

Observers: 
Some members of our research team may be observing the interview. 
** HAVE PARTICIPANT READ THE CONSENT FORM** 

Before you sign this, do you have questions or see anything that is not clear? 

** HAVE PARTICIPANT SIGN THE CONSENT FORM** 

START RECORDING 

13 
Describe the interview objectives and procedures. (This should begin a conversational 
interaction with the respondent; it is not necessary to read these descriptions verbatim.): 

Before I go into the details of what we’ll be doing, I’d like you to tell me what 
you were told about why you were asked to come in today. 

(INTERVIEWER: Confirm respondent’s understanding if it is correct. If there are 
misconceptions, let the respondent know that you’ll clarify some things as you 
describe the plan for the interview session.) 

In order to help us improve our surveys, we turn to people like you to find out if 
our questions make sense and are fairly easy to understand and answer. We 
have found that the best way to do that is to actually conduct the survey with 
people and see how it works for them. So you will be helping us test a 
questionnaire from one of our surveys. 

How: 
I want you to answer the questions exactly the way you would if an interviewer 
had come to your home for an interview, but with one major difference: I would 
like you to tell me your thoughts as you decide on your answers. 

Think aloud:  I would like you to think aloud as you answer the questions. I am interested in 
your answers, but I am also interested in the thoughts that occur to you as you 
answer the questions. I would like you to tell me everything that you are 
thinking and feeling as you go about answering each question.  

I don’t want you to try to plan what you say. Whatever you’re thinking as you 
decide on your answer is what I’d like to hear. 

Usually, it helps to try this out once or twice before we get to the survey 
questions. 

I’d like for you to think aloud as you decide how to answer the question: “How 
many windows are there in your house or apartment?” 

(INTERVIEWER: Use this second practice question if necessary: “Thinking 
about yesterday, starting with the time you got up until you went to bed, how 
many phone calls did you make?”) 

Probes: 
As we go through the survey, from time to time I’ll ask you some questions 
about your answers, or about the questions themselves. Remember, there are 
no right or wrong answers. 

I really want to hear your opinions and reactions, so don’t hesitate to speak up 
whenever something is unclear, is hard to answer, or doesn’t seem to apply to 
you. 

Do you have any questions before we begin? 

14 
(INTERVIEWER: Wait for respondent to complete thinking aloud or commenting 
before asking the probes.) 
Q1 

In any election, some people are not able to vote because they are sick or busy 
or have some other reason, and others do not want to vote. Thinking about 
recent local elections, have you voted in all of them, most of them, some of 
them, or none? 
(1) All of them 
(2) Most of them 
(3) Some of them 
(4) None 

Probe: What do you think of as being a “local election”? 

Probe: What did you consider as being “recent” in this question? 

Q2 

I am going to read a list of things some people have done to express their views. 
Please tell me whether or not you have done any of the following in the last 12 
months, that is between November 2010 and now:  
(a)  

Contacted or visited a public official ‐ at any level of government ‐ to 
express your opinion? 
(1) Yes 
(2) No 

(b) 

Bought or boycotted a certain product or service because of the social or 
political values of the company that provides it? 
(1) Yes 
(2) No 

No probes. Preexisting questions. 
(c) 

Gave money to a candidate, party, or political organization? 
(1) Yes 
(2) No 

Probe:  

IF YES: Can you tell me about what gave to? 

Probe: 

IF NO: What kinds of things do you think this question is asking about? 

15 
Q3 

I’m going to read to you a list of different Internet technologies. Please say 
whether you have used each of these to express your opinions about political or 
social or community issues within the last 12 months: 

(INTERVIEWER: Repeat as necessary: Have you used this within the last 12 months to 
express your opinions about political or social or community issues?) 
(a) 

Email 
(1) Yes 
(2) No 

(b) 

Text messaging 
(1) Yes 
(2) No 

(c) 

Chat room 
(1) Yes 
(2) No 

(d) 

A social networking site like Facebook, MySpace, or Twitter 
(1) Yes 
(2) No 

(e) 

My own blog 
(1) Yes 
(2) No 

(f) 

Commenting or writing on someone else’s blog 
(1) Yes 
(2) No 

Probe: 

For selected items (or a subset): Can you tell me what you used [       ] 
for? 
Generic follow‐up probe (if necessary): What (other) kinds of 
[social / community] issues have you expressed opinions about? 

Probe: 

For unselected items (or subset): Have you used [   ] for something 
other than giving your opinions about a political or social issue? 

16 
Q4 

Have you watched an online video that supports or opposes a candidate, party, 
political organization, or public policy campaign in the past 12 months, that is 
between November 2010 and now? 
(1) Yes 
(2) No 

Probe: 

Would you tell me, in your own words, what this question wants to find 
out? 

Probe:  

What do you think an online video means in this question? 

Q5 

Next, I will give you a list of types of groups or organizations in which people 
sometimes participate. Have you participated in any of these groups during the 
last 12 months, that is between November 2010 and now: 
(a) 

A school group, neighborhood, or community association such as PTA or 
neighborhood watch groups? 
(1) Yes 
(2) No 

(b) 

A service or civic organization such as American Legion or Lions Club? 
(1) Yes 
(2) No 

 (c) 

A sports or recreation organization such as a soccer club or tennis club? 
(1) Yes 
(2) No 

 (d) 

A church, synagogue, mosque or other religious institution or 
organization, NOT COUNTING your attendance at religious services? 
(1) Yes 
(2) No 

(e) 

Any other type of organization that I have not mentioned? 
(1) Yes  
(2) No   

Continue 
Skip to Q7 

No probes. Preexisting questions. 

17 
Q6 

What type of organization is that? 

Record verbatim 

No probes. Preexisting question. 
Q7 

In the last 12 months, between November 2010 and now, have you been an 
officer or served on a committee of any group or organization? 
(1) Yes 
(2) No 

No probes. Preexisting question. 
Q8 

Have you worked on a community project in the past 12 months? 
(1) Yes 
(2) No 

Probe:  

IF YES: Can you tell me a little about the project(s) you worked on? 

Probe: 

IF NO: What sorts of things do you think the question means by 
“community project”? 

Q9 

Within the past twelve months, have you personally walked, ran, or bicycled or 
done anything else for a charitable cause? This is separate from sponsoring or 
giving money to this type of event. 
(1) Yes 
(2) No 

Probe:  

IF YES: Can you tell me about what you did? 

Probe: 

Follow‐up probe (if not volunteered): What was the charitable 
cause? 

IF NO: What kinds of events do you think this question is asking about? 

18 
Q10 

In the last 12 months, have you volunteered for a political organization or 
candidates running for office? 
(1) Yes 
(2) No 

Probe:  

IF YES: Can you describe what you did as a volunteer? 

Probe: 

IF NO: What do you think the question means by “volunteered for a 
political organization”? 

Q11 

These next questions ask how often you did something during a TYPICAL MONTH 
in the past year. How often were politics discussed when communicating with 
family and friends, ‐‐ basically every day, a few times a week, a few times a 
month, once a month, or not at all? 
(1) Basically every day  
(2) A few times a week 
(3) A few times a month 
(4) Once a month 

(5) Not at all   

Skip to 
Q13 
if one 
person 
household 

No probes. Preexisting question. 
Q12 

How often did you eat dinner with any of the other members of your household 
‐‐ basically every day, a few times a week, a few times a month, once a month, or 
not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

No probes. Preexisting question. 

19 
Q13 

During a TYPICAL MONTH in the past year, how often, if at all, did you spend 
time visiting friends–basically every day, a few times a week, a few times a 
month, once a month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

Probe: 
Q14 

Would you tell me, in your own words, what this question wants to find 
out? 
During a TYPICAL MONTH in the past year, how often, if at all, did you 
communicate with friends and family by email or on the internet ‐‐ basically 
every day, a few times a week, a few times a month, once a month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

No probes. Preexisting question. 
Q15 

How often did you talk with any of your neighbors ‐‐ basically every day, a few 
times a week, a few times a month, once a month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

No probes. Preexisting question. 

20 
Q16 

How often did you and your neighbors do favors for each other? By favors we 
mean such things as watching each other’s children, helping with shopping, 
house sitting, lending garden or house tools, and other small acts of kindness ‐‐ 
basically every day, a few times a week, a few times a month, once a month, or 
not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

No probes. Preexisting question. 
Q17  

During a TYPICAL MONTH in the past year, how often, if at all, were you in the 
home of a neighbor–basically every day, a few times a week, a few times a 
month, once a month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

Probe:  

How long have you lived at your current address? 
Follow‐up [if less than a year]: Did you think mostly about your 
current neighborhood, your last neighborhood, or both 
neighborhoods? 

Probe: 

Would you tell me, in your own words, what this question wants to find 
out? 

21 
Q18 

We’d like to know how much you trust people in your neighborhood. Generally 
speaking, would you say that you can trust them a lot, some, only a little, or not 
at all? 
(1) A lot 
(2) Some 
(3) Only a little 
(4) Not at all 

Probe: 

(Unless the respondent answered “Not at all”) How did you decide on 
[choice] rather than [next closest option]? 

Probe: 

What sorts of things come to mind when you hear “trust the people in 
your neighborhood”? 

Probe: 

What do you think of as “your neighborhood”? 

Probe:  

What comes to mind when you hear “people in your neighborhood”? 

Q19 

How many friends or family members do you have, if any, whom you could count 
on in an emergency? Don’t worry if your answer is not exact, just give me your 
best estimate. 

Accept integers 0 through 9999 

Probe:  

What sorts of things do you think the question means by “emergency”? 

Probe:  

What does “count on” mean to you in this question? 

Probe:  

How many of the [number >1 mentioned] are [friends/family]? 

Probe:  

Do any live outside your neighborhood? 

Q20 

I am going to read some ways that people get news and information. Please tell 
me how often you did each of the following during a TYPICAL MONTH in the past 
year: 
(a) 

Read a newspaper in print or on the Internet ‐ basically every day, a few 
times a week, a few times a month, once a month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

22 
(b) 

Read news magazines such as Newsweek or Time, in print or on the 
Internet ‐ basically every day, a few times a week, a few times a month, 
once a month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

(c)   

Watch the news on television or get news from television internet sites ‐ 
basically every day, a few times a week, a few times a month, once a 
month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

(d)   

Listen to the news on radio or get news from radio internet sites ‐ 
basically every day, a few times a week, a few times a month, once a 
month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

(e)   

Obtain news from any other Internet sources that we have not previously 
asked about such as blogs, chat rooms, or independent news services ‐ 
basically every day, a few times a week, a few times a month, once a 
month, or not at all? 
(1) Basically every day 
(2) A few times a week 
(3) A few times a month 
(4) Once a month 
(5) Not at all 

23 
No probes. Preexisting questions. 
Q21 

I am going to name some institutions in this country. As far as the people 
running these institutions are concerned, would you say you have a great deal of 
confidence, only some confidence, or hardly any confidence at all in them? 

[INTERVIEWER: Repeat the response options unless the respondent starts to answer 
before you read them; or if the respondent appears to forget the options.] 
(a) Banks and financial institutions 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 
(b) Major companies 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 
(c) Small and local businesses 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 
(d) Organized labor 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 
(e) The print media, such as newspapers and news magazines 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 

(f) Electronic news media, such as television and cable news 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 

24 
(g) Independent or citizen media, such as an online blog 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 
(h) The scientific community 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 
(i) Public schools 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 
(j) Religious institutions 
(1) Great deal of confidence 
(2) Some confidence 
(3) Hardly any confidence 
Probe: 

Who would you think of as “the people running” the scientific 
community? 

Probe: 

(Use especially if respondent usually chose the middle category) If you 
really didn’t have an opinion about the people running [insert from list 
that was answered “some”], how would you have answered? 

Probe: 

What were you thinking when you said you had [response choice] in 
[insert from list]? 

Probe:  

What do you think the question means by “citizen media”? 

Probe:  

How would you answer about [insert from list] if you had a great deal of 
confidence in some of the people running [insert from list] but hardly 
any confidence in others? 

25 
Q22 

How would you describe your overall state of health these days: Would you say 
it is excellent, very good, good, fair, or poor? 
(1) Excellent 
(2) Very good 
(3) Good 
(4) Fair 
(5) Poor 

No probes. Preexisting question. 
Q23 

On the following scale, how would you describe the quality of your life overall? 
Excellent, good, fair, poor, or very poor? 
(1) Excellent 
(2) Good 
(3) Fair 
(4) Poor 
(5) Very poor 

Probe: 

What did you think the question means by “the quality of your life 
overall”? 

DEBRIEFING QUESTIONS 
Overall, would say the survey questions were easy or difficult to answer? 
Follow‐up: 

Why? 

Which questions did you have to think about the most to decide on an answer? 

Follow‐up: 

Why was that? 

Which questions or topics were [most/least] interesting to you? 
Do you think there are questions people would find difficult? 
Follow‐up: 

Which ones? 

Follow‐up: 

Why? 

Do you think there are questions that people would find sensitive? 

Follow‐up: 

Which ones? 

Follow‐up: 

Why?