Appendix A4

Impact of Offering a Bilingual Option in a Mail Survey of Linguistically Isolated Areas: Results from the 
2009 National Household Education Survey Pilot 
Andrew Zukerberg, National Center for Education Statistics and Daifeng Han, Westat 

This discussion is intended to promote the exchange of ideas among researchers and policy makers.  The 
views expressed in this handout are part of ongoing research and analysis and do not necessarily reflect 
the position of the U.S. Department of Education.  

The National Household Education Surveys Program (NHES) is undergoing a conversion from a random 
digit dial (RDD) telephone survey to an address based mail survey with telephone non response follow 
up.   Both approaches require screening sampled households to determine the presence of eligible 
children.  If eligible children are present, within household sampling is performed to select a reference 
child about which a more detailed interview is conducted.  On the telephone, computer assisted 
interviewing allows seamless within‐household sampling of eligible children with an immediate 
transition between screening and more detailed topical interviewing all during one phone contact.   
However, the conversion to a mail survey requires separating the screening and interviewing processes 
into phases that require at least two contacts with a household. The screening is performed using a brief 
initial questionnaire that the household fills out and mails back to a processing center.  Staff at the 
processing center use the screening information to determine if eligible children reside in the household 
and which children to select for more detailed topical interviews.   Households with eligible children are 
then sent a topical interview in a second phase mailing.  In the 2007 NHES telephone administration, 4.8 
percent of screener interviews were conducted in Spanish.  One of the challenges associated with 
changing to a mail mode collection is devising an approach to collecting data from households where 
only Spanish is understood.  In this presentation, we describe the results of an experiment that 
compared a bilingual (English and Spanish) screener questionnaire to an English only screener 
questionnaire in a special sample of addresses in census tracts with a high density of linguistically 
isolated Spanish‐speaking households.  We also describe results of an experiment to study how two 
different second phase topical questionnaires performed with this same sample.  One of the topical 
questionnaires had both Spanish and English forms, and the other was offered in English only. 
Background: 
Non English speakers have long been a challenge to survey researchers, both in obtaining cooperation 
and in being able to conduct the interview.  To address this problem, many telephone interview facilities 
recruit speakers of multiple languages1 .  In some cases the interview instrument is translated into 
alternate languages for the interviewers and in other cases, the interviewer translates as they conduct 
the interview.  Computer self‐administered methods can be adapted to allow respondents to choose the 
language in which they are most comfortable responding.  However, mail surveys are more difficult to 

1

 Groves, Robert M. and Lars E. Lyberg., “An Overview of Nonresponse Issues in Telephone Surveys,” in R. Groves, P 
Biemer, Lars Lyberg, J. Massey, W. Nicholls II and J. Waksberg (eds.), Telephone Survey Methodology, New York, 
John Wiley and Sons, 1988.  

adapt to non English speakers.  There is no person or program to determine the language the 
respondent speaks and adjust the interview accordingly.    A study conducted by the Census Bureau 2  
found a significantly higher response rate using a bilingual Spanish/English questionnaire rather than an 
English‐only questionnaire in a national sample and in a sample with high concentrations of “non‐Whites 
and Hispanics.”  The differences ranged from 2% to 3.2% depending on the sample.  Not surprisingly, a 
larger difference was seen in areas with high concentrations of “non‐White and Hispanic” populations.  
A follow up study, targeting Spanish speaking households where at least one person was reported as not 
speaking English “Very Well” in the 2000 Census, also found increased response using a bilingual form 3 .  
However, evidence has recently emerged that some bilingual respondents prefer to respond in English.  
Trussell et al. presented telephone‐recruited respondents in households with Spanish speakers the 
choice of receiving a follow‐up survey and materials in English or in a bilingual Spanish‐English format. 4   
The majority of these respondents preferred to receive the materials in English.   
Methods: 
A pilot study for evaluating different data collection strategies for NHES was fielded in the fall of 2009.  
For the pilot study, a sample of addresses was selected from the geographic areas with relatively high 
densities of linguistically isolated Spanish‐speaking households.  Using data from the 2000 Decennial 
Census, households were defined as linguistically isolated and Spanish speaking if all household 
members over the age of 14 spoke Spanish and all household members over the age of 14 had some 
difficulty speaking English.   
The sample was created by identifying Census tracts where 13 percent or more of the households met 
this definition.  The 13 percent cut off was selected to balance obtaining a high concentration of 
linguistically isolated Spanish speaking households against representing a significant portion of the 
linguistically isolated Spanish speaking households in the United States.  The zip codes for these tracts 
were provided to our sample vendor and a simple random sample of 800 addresses was selected from 
these tracts for inclusion in the linguistically isolated sample.   

The 800 sampled cases were then randomly assigned to receive a bilingual screener questionnaire or an 
English only version.  The bilingual questionnaire used in this study was based on a “swimlane” design 
developed by the Census Bureau.  Each page of the questionnaire was divided into two columns, one in 
English and the other in Spanish.  This allowed the respondent to see the question in both languages at 
the same time.  A bilingual thank‐you/reminder postcard was sent to all sampled addresses 
approximately one week after the initial screener questionnaire mailing.  This postcard provided 

2

 Bouffard, Julie A., and Jennifer G. Tancreto. “Experimental Treatment Results of the Bilingual Census Form from 
the 2005 National Census Test.”  Proceedings of the Joint Statistical Meetings, American Statistical Association, 
2006, pp.  2779‐2786. 
3
 Govern, Kelly A. and Courtney N. Reiser.  “Bilingual Census Questionnaire Design Test 2007 National Census Test.” 
Proceedings of the Joint Statistical Meetings, American Statistical Association, 2008, pp. 1604‐1611. 
4
 Trussell, Norm, Michael W. Link, Justin Bailey, Lorelle Vanno and Liz Matthess.  “Spanish Respondent’s Choice of 
Language of Survey Materials: Bilingual or English Only Should You Give a Choice?” Poster presented at 2009 
Annual Conference of the American Association for Public Opinion Research.  Hollywood, Fl. 

2 

respondents both a phone number they could call and a box they could mark to request a bilingual 
questionnaire.  A second screener questionnaire was sent to non responding households approximately 
two weeks after the thank‐you/reminder postcard.  A third mailing was sent by Federal Express roughly 
two weeks after the second mailing.    All follow up mailings used the same form as the first mailing. 
The second stage of the NHES consisted of two possible topical surveys for households: The Early 
Childhood Program Participation (ECPP) survey or The Parent and Family Involvement in Education (PFI) 
survey.  The ECPP questionnaire was geared to children from birth through age 6 and not enrolled in 
kindergarten.  The study looked primarily at participation in nonparental early education and care 
arrangements, and school readiness.  The PFI was designed to collect data about children ages 5 through 
20 and currently enrolled in kindergarten to grade 12 or homeschooled.  Upon return of a completed 
screener questionnaire, households with an eligible child were selected for one of the two topical 
questionnaires by the data collection contractor, Westat.  If multiple children were present in the 
household, one reference child was selected.  The topical interview was then mailed to the household. 
For the 2009 pilot test, only the PFI was offered in Spanish for cost reasons.  In situations where a PFI 
child was sampled for a topical interview and the respondent had enumerated children using the 
Spanish side of the bilingual questionnaire or if respondent had mailed back the postcard with Spanish 
box checked or had called in to request a Spanish questionnaire, a Spanish PFI topical questionnaire was 
sent.  Otherwise, an English PFI topical questionnaire was sent.  In the situation where an ECPP child was 
sampled for the topical interview, only an English topical questionnaire was sent for reasons noted 
above.  If households did not respond to the topical surveys that were mailed to them three times, 
Westat called the households to attempt to complete the surveys by phone.  The telephone surveys 
were only conducted in English.  If a household did not have an adult English speaker available to 
complete the topical survey during the telephone follow‐up, the case was coded as nonresponse due to 
language problem at this stage.     

RESULTS: 

Table 1 shows that there was no measurable difference in response rates between the bilingual and 
English only screener questionnaires for the sample of households in linguistically isolated areas.  The 
response rate for the bilingual questionnaire was 45.8 percent and the response rate for the English only 
questionnaire was 46.2 percent.  The p‐value for the significance test of difference was not significant 
(p=0.917). 

3 

Table 1. 

Response Rate 
Number 
responding / 
Number 
Sampled 

Response rate and sample size by screener type 

Screener Questionnaire Type 
   Bilingual  English Only 
Total 
P‐value 
   45.8 
46.2 
46.0 
0.917 

   164/358 

164/355 

328/713 

SOURCE:  U.S. Department of Education, National Center for Education 
Statistics, 2009 Pilot Study of the National Household Education Surveys 
Program (NHES) Redesign. 

An examination of key demographic characteristics between the bilingual screener questionnaire and 
English only screener questionnaire respondents indicates that they were not measurably different (p 
values of 0.585 or higher) with the exception of education.  The bilingual questionnaire had a larger 
percentage of respondents with a high school diploma, GED, or lower education level than the English 
only questionnaire (p=0.027).   

Table 2.  Characteristics of screener respondents in the linguistically isolated sample of the NHES 
redesign pilot by form type 

Screener Form Type 
1

Respondent characteristics  

Bilingual 

English Only 

P‐value

Percent renting home 

48.4 

45.3

0.585

Percent living at current address for 5 or more years 

Percent having educational attainment of high school 
diploma or GED or less 

Percent having an adult in household who does not speak 
English 

57.5 

58.6

0.836

52.0 

39.5

0.027*

32.0 

30.0

0.667

Average number of males  

1.50 

Average number of females  
1.62 
Average household size  
3.12 
* Indicates significant at the 0.05 alpha level of significance using a two‐tailed test. 

1.51

0.965

1.64
3.14

0.887
0.901

1 

Excludes cases with missing values due to item nonresponse. 
SOURCE:  U.S. Department of Education, National Center for Education Statistics, 2009 Pilot Study of 
the National Household Education Surveys Program (NHES) Redesign. 
4 

Next, we looked at the language used by respondents to the bilingual form.  Table 3 shows that just over 
one quarter (28.7 percent) of the bilingual form respondents used only the Spanish column, that a little 
over two thirds (68.3 percent) used only the English column, and that 3 percent had responses in both 
columns.    

Table 3. Language column completed by bilingual screener respondents
Column Used on Bilingual Form
Spanish Column  English Column 
Only
Only
Both Columns
Percent completing by column
28.7
68.3
3.0
Number completing by column
47
112
5
SOURCE:  U.S. Department of Education, National Center for Education Statistics, 
2009 Pilot Study of the National Household Education Surveys Program (NHES) 

Differences emerged within the bilingual screener respondents when comparing those who responded 
only or partially in Spanish to those who used only the English column.  Table 4 shows that there were 
some measurable differences in key characteristics between these two categories of respondents.  Not 
surprisingly, users of the Spanish columns were more likely to live in a household where at least one 
adult did not speak English (p=0.000).  Additionally, a higher percentage of those using the Spanish 
language columns (85.7 percent) had a high school education or less compared to those using only the 
English language columns (35.9 percent).  Those using the Spanish language columns tended to live in 
larger households (mean size of 3.73) and households with more males (1.86 males) than those using 
only the English language columns (mean size of 2.83 with 1.34 males). 

5 

Table 
4. 

Characteristics of bilingual screener respondents in the linguistically isolated sample of 
the NHES redesign pilot by language column completed 

Column Used on Bilingual Form  
Spanish or Both 
English 
P‐
Columns 
Only 
value

Respondent characteristics1 
Percent renting home 

56.0 

44.9

0.196

Percent living at current address for 5 or more years 

Percent having educational attainment of high school 
diploma or GED or less 

Percent having an adult in household who does not 
speak English 

50.0 

61.1

0.185

85.7 

35.9 0.000*

74.4 

14.4 0.000*

Average number of males 
Average number of females 

1.86 
1.86 

1.34 0.006*
1.50 0.070

Average household size 

3.73 

2.83 0.004*

* Indicates significant at the 0.05 alpha level of significance using a two‐tailed test. 
1 

Excludes cases with missing values due to item nonresponse. 
SOURCE:  U.S. Department of Education, National Center for Education Statistics, 2009 Pilot Study 
of the National Household Education Surveys Program (NHES) Redesign. 

Table 5 shows response rates for the second phase topical questionnaires by the type of screener 
questionnaire the household completed.  As noted earlier, the ECPP topical survey was offered only in 
English whereas the PFI topical survey had both a Spanish form and an English form.  Table 5 shows 
some differences in response rate to the ECPP based on the version of screener that was completed.  No 
differences were detected in the PFI response rate based on the type of screener questionnaire.   

6 

Table 
5. 

Topical response rate by version of the screener completed in the linguistically 
isolated sample of the NHES redesign 

Screener Version Completed 
Bilingual Form 
English   Overall 

P‐value 

Overall topical response rate 

55.2

65.3 

60.4

0.226

ECPP response rate (offered in English only) 

35.0

68.8 

50.0

0.044*

(7/20)

(11/16) 

(18/36)

63.8

64.3 

64.1

0.962

(30/47)

(36/56) 

(66/103)

Number of respondents/number sampled 
PFI response rate (English and Spanish 
offered) 
Number of respondents/number sampled 

Comparison between ECPP and PFI 
response rate 

0.137
* Indicates significant at the 0.05 alpha level of significance using a two‐tailed test. 
SOURCE:  U.S. Department of Education, National Center for Education Statistics, 2009 Pilot Study 
of the National Household Education Surveys Program (NHES) Redesign. 

Among the 36 households eligible for the ECPP, 20 responded to the bilingual screener and 16 
responded to the English only screener.  Of the bilingual screener respondents, 10 households had 
enumerated their children in Spanish.   None of the 10 households who completed the screener in 
Spanish returned an ECPP survey.  However, 69 percent of the respondents who enumerated their 
household in English during the screener interview returned a completed ECPP survey.  This latter 
estimate included respondents who received the bilingual screener and filled it out in English (10 
completed the bilingual screener in English and also had children eligible for ECPP, and of these 7 
completed the ECPP) and those who received the English only screener (16 returned that screener and 
also had children eligible for ECPP, and 11 of these completed the ECPP).  This resulted in a significantly 
lower response rate for the ECPP among those who completed the bilingual screener (35.0 percent) 
when compared to respondents who completed the English only screener.  The PFI form which was 
offered in both English and Spanish did not experience the same differences.    Among the 103 
households eligible for the PFI interview, 47 responded to the bilingual screener and 56 responded to 
the English only screener.  Of the bilingual screener respondents, 16 enumerated their children in 
Spanish or requested a Spanish interview.  10 of these respondents completed the Spanish PFI (62.5 
percent).  The overall response rate for the PFI interview was 64.1 percent.   

7 

Conclusions: 
Unlike previous studies, we did not detect an improvement in response rates by offering respondents a 
bilingual option when compared to only offering an English version of the screening questionnaire.  
While there was not a measurable difference, some evidence surfaced from our analysis within the 
bilingual screener questionnaire respondents and among topical respondents to indicate that the 
bilingual form was reaching a somewhat different population.  The group of respondents who 
completed the bilingual screener in Spanish differed in measurable ways on a number of demographic 
characteristics from those who completed in English.   Perhaps the strongest evidence that the bilingual 
screener brought in a different population comes from the fact that none of the respondents who 
completed a screener in Spanish and were eligible for the ECPP completed the form which was offered 
only in English.  Since these differences did not surface at the overall study level, it may indicate that the 
cut‐off we used for linguistically isolated Spanish speaking populations included many non isolated 
households.  It is also possible that respondents who do not speak English have lower literacy levels in 
their native language than those who learn English.  If this is the case, it would explain the lower 
participation by non English speakers to our self‐administered questionnaire.   
We plan to confirm these findings with a larger sample in 2011.  Additionally, we are considering 
offering Spanish and English forms simultaneously to respondents in linguistically isolated Spanish 
speaking areas.  Further, we plan to offer all of the topical interviews in Spanish.  To address potential 
literacy issues, we will offer telephone non response follow up in English and Spanish. 

8