Protocol Changes in Response to OMB comments Dec 22 2010

Response to OMB Comments 

Comment 1: Objectives of the Full Study  

ERS and FNS intend to use the collected data to address the following critical unanswered 
questions: 
• How do food prices and household income influence American’s food choices and the 
dietary quality of their purchased and acquired food? 
• What is the influence of nutrition knowledge and attitudes on food purchases and 
acquisitions? 
• What food items do SNAP participants buy? What are the characteristics of these foods 
with respect to type (e.g., store or national brand), store or coupon discounting, unit 
size, and cost per unit? 
• How does food assistance program participation influence food purchases and 
acquisitions? 
• How do access and retail outlet choice influence food purchases and the resulting 
dietary quality of purchases? 
• How and why are food security status and the food purchases of SNAP participants 
different from SNAP‐eligible nonparticipants? 

More specifically, ERS and FNS will use the collected information to: 

1. Describe the food and beverage purchase and acquisition patterns of the population 
and important subgroups (especially subgroups defined by income and SNAP 
participation). 
2. Characterize the nutritional quality of households’ purchased and acquired food. 
3. Assess levels of knowledge about diet, nutrition and health, and their relationships to 
acquired foods. 
4. Identify subject areas and groups of SNAP households for which additional information 
about diet, nutrition and health could have the greatest potential impact on improved 
food choices. 
5. Characterize the nature of food access of the population universe and subgroups, both 
in terms of travel distance or time and the nature and relative prices of food available 
at local markets. 
6. Estimate the influence of income and prices on food purchases including, to the extent 
feasible, income, own‐price, and cross‐price elasticities for purchased food items (both 
at home and away.) 
7. Assess levels of food security of the population universe and subgroups using the 30‐
day, adult food security measure. 
8. Assess why food purchase and food security outcomes differ for SNAP participants and 
low‐income non‐participants and identify the factors that account for those 
differences.   

1 

Section A1 is therefore revised and should be replaced with the following.   

A1. Circumstances Making the Collection of Information Necessary 

The Economic Research Service (ERS), U.S. Department of Agriculture (USDA), is requesting 
Office of Management and Budget (OMB) approval to conduct the Field Test for the 
National Household Food Acquisition and Purchase Survey (aka National Food Study) in 
preparation for a later full‐scale implementation of the survey in 2012. 1   

The mission of ERS is to provide timely research and analysis to public and private decision 
makers on topics related to agriculture, food, the environment, and rural America. To 
achieve this mission, ERS requires a variety of data that describe agricultural production, 
food distribution channels, availability and price of food at the point of sale, and household 
demand for food products. There is great need for the above information as it relates to 
low‐income households. Domestic food assistance programs are also an important and 
growing part of USDA's budget.  The President’s fiscal year 2011 budget request contains 
almost $96 billion in budget authority to fund the nutrition assistance programs. This 
represents more than a threefold increase in funding in the last decade and reflects both 
the robust ability of the nutrition assistance programs to respond to changing economic and 
social conditions as well as the depth and breadth of need that currently exists within the 
Nation.  At some point during the year, about 1 in 4 Americans participated in at least one 
of USDA’s 15 domestic food and nutrition assistance programs. It is critical for USDA to 
better understand the food acquisition behaviors of low‐income, program‐eligible 
households in order to better serve this segment of the population with efficient and 
effective programs. 

Analysis of how USDA’s policies and programs influence household economic behavior has 
been hampered by gaps in existing data. A number of existing databases contain data 
relevant to the ERS data needs described above; however, each has important limitations 
for addressing ERS’ data and research objectives. For example, the National Health and 
Nutrition Examination Survey (NHANES) collects data on individuals’ food consumption, but 
not household purchase information. The Consumer Expenditure Survey collects aggregate 
data on food expenditures, but lacks item‐level quantities for nutrient analyses of food 
acquisitions. Proprietary food databases provide detailed information about food purchases 
and prices, but rely on convenience samples with insufficient representation of low‐income 
households and information about participation and benefits received from USDA food 
assistance programs. No current data source provides detailed household‐level information 
about food acquisitions, including purchases and foods obtained at no cost. The absence of 
adequate data has made it difficult for ERS to provide accurate and timely economic 
information on food demand factors, such as income and price elasticities of demand for 
food, and nutritional characteristics of household food choices.  

1

A separate Supporting Justification for the full-scale National Food Study will be submitted to OMB in 2011.

2 

In addition to the lack of current data, the structure of the U.S. food economy has changed 
dramatically in the past decade making older surveys and estimates of food demand 
increasingly outdated and irrelevant. In the aggregate, American households acquire their 
food from a large variety of sources, including: “traditional” food store outlets like 
supermarkets and grocery stores; “big box” stores and supercenters; dollar stores; farmers’ 
markets; and other food store outlets like convenience stores, bakeries, meat markets, and 
produce stands. Restaurants and fast food shops have become increasingly important to 
food‐away‐from‐home acquisition behaviors. Other food sources include school meals, 
institutional cafeterias, vending machines, food pantries, and “harvesting” (e.g., hunting, 
fishing, and growing your own food). Foods acquired as gifts or at special events like dinner 
parties and free meals or snacks eaten at other homes or provided at work also are 
relevant.   

Nearly all of the above food sources have been available to American households for 
decades, but food acquisition behaviors have changed in response to changing markets, 
household structure, labor force participation, and other factors. According to the 
Department of Labor, approximately 21 percent of the household food budget was spent 
away‐from‐home in 1960‐61. That share had increased to 40 percent by 2002‐03. 2  And as 
food acquisition patterns have changed, America has come to face an epidemic of 
overweight and obesity which has led to demand for better data for understanding the 
relationship between food acquisition patterns and diet quality. 

Currently, about 30 percent of adult Americans are obese, which is roughly a 100 percent 
increase from 25 years ago. 3  Recent research has suggested a causal relationship between 
the food environment and body size; 4  and ERS has become involved in documenting and 
analyzing food deserts. Food insecurity and food assistance program participation have also 
been cited as factors in the growing obesity epidemic. ERS will be in a better position to 
analyze these relationships if it has access to current, accurate data on food acquisition, and 
the food prices and availability of healthful and less‐healthful foods.  

ERS plans to conduct a full‐scale National Food Study designed to collect household 
information and food acquisition data from a nationally representative sample of 5,000 
households over a six‐month period from March 2012 through August 2012. The sample for 
the National Food Study will include three strata: households participating in the 
Supplemental Nutrition Assistance Program (SNAP); 5  low‐income households not 
participating in SNAP and with income below 185 percent of the poverty guidelines; and 

2

See U.S. Department of Labor (2006). “100 Years of Consumer Spending: Data for the Nation, New York City,
and Boston.” Report 991.
3
See Baum, C. 2007. “The Effects of Food Stamps on Obesity.” Economic Research Service, USDA. Contractor
and Cooperator Report No. 34, September.
4
For example, see Rundle et al. (2008)
5
Households are eligible for SNAP if gross household income is at or below 130 percent of the federal poverty
guidelines, and income net of deductions is below the federal poverty guidelines (households with an elderly or
disabled member are not required to meet the net income test). Most households must also meet certain resource
tests.

3 

higher‐income households with income above 185 percent of the poverty guidelines. This 
survey will provide data not currently available to program officials and researchers, 
thereby broadening the scope of economic analyses of food choices made by U.S. 
households and how those choices influence diet quality and decisions about participation 
in food assistance programs. 

If approved, the Field Test for the National Food Study will be conducted in winter 2011. 
The field test will collect data from a sample of 400 low income households selected from 
the two low‐income strata defined for the full‐scale survey.  The primary purpose of the 
Field Test is to provide methodological information about two different approaches for 
collecting food acquisition data from households over a seven‐day period. This information 
is needed because no prior survey has collected similarly detailed information about food 
acquisitions in both the “food‐at‐home” and “food‐away‐from‐home” categories. 
Households will be randomly assigned to two alternate survey protocols and two alternate 
incentive levels. Data collected from the randomly assigned subgroups will be used to 
provide a two‐by‐two test of the estimated differences in response rates and data quality 
associated with different survey protocols and different incentive levels. Data quality will be 
measured by adherence to survey protocols and by reporting accuracy on items that can be 
validated. Information about differences in response rates and data quality among 
randomly assigned subgroups will be used to assess the efficacy of alternative approaches 
for the full‐scale survey. 

The Field Test will include all aspects of the data collection process and most aspects of data 
processing that are planned for the full‐scale survey, thereby providing a test of all the 
systems designed for gathering data from study participants.  

Section 17 [7 U.S.C. 2026] (a)(1) of the Food and Nutrition Act of 2008 provides legislative 
authority for the planned data collection. This section authorizes the Secretary of 
Agriculture to enter into contracts with private institutions to undertake research that will 
help to improve the administration and effectiveness of SNAP in delivering nutrition‐related 
benefits. Although ERS is the lead agency for implementing the National Food Study, the 
Food and Nutrition Service (FNS) of USDA is providing both staff and financial support. FNS 
is responsible for administration of SNAP at the Federal level. 

Mapping objectives to Data Needs 

The questions above will be examined using the data specified below: 

•

Describe the food and beverage purchases and acquisition patterns of the population 
universe and subgroups. 

I.
II.

Sources, quantities and prices of food‐at‐home (FAH) and food‐away‐from‐home 
(FAFH) items purchased 
Sources and quantities of non‐priced items that are acquired 
4 

III.
IV.
V.

VI.
VII.
VIII.
IX.
X.
XI.

Designation of USDA Food Pyramid Groups  
Detailed food expenditures 
Identification of population groups (e.g., SNAP households, non‐participating 
low‐income households, and higher‐income households) and detailed 
demographic information for household members 
Days of week when household members obtain subsidized school lunches 
Funding sources for acquired food (e.g., cash, credit, SNAP benefits via EBT card, 
WIC food instruments) 
Amount paid for by cash, check, or cash benefits from an EBT card; 
Amount paid for by SNAP benefits from an EBT card 
Amount paid for by credit card or credit account 
Timing of program benefits and income receipt relative to food acquisition 
patterns 

•

Characterize the nutritional quality of households’ food purchases and acquired food. 

I.
II.

•

Nutrient data for FAH and FAFH 
Characterization of nutritional quality by population subgroups (e.g., SNAP 
households, non‐participating low‐income households, and higher‐income 
households) and detailed demographic information 

Characterize the nature of food access of the population universe and subgroups. 

I.
II.

•

Geographic distance between respondent and source/vendor locations 
Characterization of food access by population subgroups (e.g., SNAP households, 
non‐participating low‐income households, and higher‐income households) and 
detailed demographic information 
III.
Travel time 
IV.
Modes of travel 
V.
Costs of travel 
VI.
Participation in food assistance programs  
VII.
Type of store and vendor, and availability of nutritious foods 

Estimate the influence of income and prices on food purchases including, to the extent 
feasible, income, own‐price, and cross‐price elasticities for purchased food items (both 
at home and away.) 

I.
II.
III.
IV.
V.
VI.
VII.

Date of trip 
Name and type of destination 
Sufficient address information to allow geocoding of location 
Number of food items acquired during trip 
Total expenditure on all food items acquired, including tax 
Amount paid for by cash, check, or cash benefits from an EBT card 
Amount paid for by SNAP benefits from an EBT card 
5 

VIII.
IX.
X.

Amount paid for by credit card or credit account 
Detailed price and quantities of items purchased 
Description of items and quantities otherwise acquired, including imputed prices 
where available 
XI.
Household income and benefit levels 
XII.
Timing of income and benefits received 
XIII.
Prices of food substitutes and complements 
XIV.
Total non‐food expenditures, by category (e.g., housing, medical, clothing) 
XV.
Identification of population subgroups (e.g., SNAP households, non‐participating 
low‐income households, and higher‐income households) 

• Assess levels of food security of the population universe and subgroups using the 30‐
day, adult food security measure. 

I. Reported food security status 
II. Characterization of food security status by population subgroups (e.g., SNAP 
households, non‐participating low‐income households, and higher‐income 
households) and detailed demographic information 
•

Assess levels of knowledge about diet, nutrition and health, and their relationships to 
acquired foods. 

•

I. Reported knowledge about diet, nutrition, and health 
II. Characterization of knowledge by population subgroups (e.g., SNAP households, 
non‐participating low‐income households, and higher‐income households) and 
detailed demographic information 
III. Characterization of the nutritional quality of items purchased or otherwise acquired 

Assess why food purchase and food security outcomes differ for SNAP participants and 
low‐income non‐participants and identify the factors that account for those differences.   

I.

 All of the above plus knowledge on diet, nutrition, and health 

This matrix will be referenced in the first paragraph under Section A2, as indicated below. The 
matrix will be included in the OMB submission as Appendix B with all subsequent appendices 
renumbered. 

A2. Purpose and Use of the Information  

The full‐scale National Food Study will collect information about household food 
acquisitions, including foods purchased and foods obtained at no cost (e.g., home‐grown 
vegetables). Information also will be collected about household characteristics, including 
demographics, income, assets, major categories of nonfood expenditures, food security, 
health status (including heights and weights), and dietary knowledge. This survey will 
6 

provide ERS with a comprehensive database to support the analysis of a wide variety of 
research questions, including patterns of shopping behavior and food choice; the influence 
of access and retailer choice on dietary quality; the magnitudes of income and price 
elasticities of demand for food; the influence of dietary knowledge on purchase patterns 
and food choice; the relationship between food acquisition patterns and levels of food 
security; and differences in food acquisition patterns for SNAP households and low‐income 
households not participating in SNAP.  Appendix B shows the relationship of collected data 
to each research question.  
ERS is requesting permission to conduct a 400‐case methodological field test of data 
collection procedures in preparation for carrying out the full‐scale survey in 2012. [continue 
with next paragraph] 

Appendix B. Relationship of Collected Data to Study Objectives and Research Questions 
Study Objective/Research Question 

Data Source  

1. Describe the food and beverage purchases and acquisition patterns of the population universe and subgroups. 

a. What food items do household members acquire from the following 

sources: 

i. Purchase from food retailers primarily for preparation and 
Food booklet, scanner data 
consumption at home (FAH), and 
ii. Purchase of prepared foods and beverages from food service 
establishments (e.g., restaurants, cafeterias, and vending machines 
primarily for consumption away from home (FAFH) (e.g., meals at 
restaurants, unsubsidized school meals, snacks or beverages from 
vending machines)? 

Food booklets, telephone reporting of foods‐away‐
from‐home 

b. What are the quantities and purchase prices (or implicit values) of the 
above foods, snacks, and meals? 

For food‐at‐home, the scanner captures item 
quantities and scanned barcodes are mapped to 
item package sizes. Prices are added from Nielsen 
price files, receipts, or imputed values. 
For food‐away‐from‐home, quantities and prices 
are recorded in food booklets and/or indicated on 
receipts and reported during the telephone 
reporting of food‐away‐from‐home. 

c. What non‐priced food items do household members acquire for 
consumption either at home or away from home? What are the 
quantities and sources (e.g., food pantries, emergency kitchens, Meals‐
on‐Wheels, home gardens or farms, fishing and hunting trips, gifts, 
compensation for work, meals at the homes of family or friends) of 
these foods and beverages? 

For food‐at‐home, the scanner captures items and 
quantities, and the source is recorded in the food 
book (blue page). 

d. How are these foods characterized in terms of food groups and 
subgroups (including units of USDA food pyramid groups: grains, 
vegetables, fruits, milk, meat and beans, oils)?   

Mathematica will map UPCs and food‐away‐from‐
home acquisitions to food groups, utilizing the food 
groupings in the UPC data dictionary and building 
on food group schema developed on other projects 
to apply to USDA food codes. 

e. For each household member, what purchase/acquisition occasions 
occur during each day of the reporting period?  

Acquisitions will be reported in food booklets (Daily 
Lists, Blue pages, Red Pages).  

For food‐away‐from‐home, items and quantities are 
recorded in food booklets and reported during the 
telephone reporting of food‐away‐from‐home. 

7 

Study Objective/Research Question 
f.

For each household member (or guest), what meals and snacks (i.e., 
breakfast, morning snack, lunch, afternoon snack, dinner, evening 
snack, and other) are consumed each day of the reporting period? 

Data Source  
Meals and snacks will be reported on the Meals and 
Snacks Form. 

g. For questions a through f above, how do the food acquisition patterns 
vary by population group (e.g., SNAP households, nonparticipating low‐
income households, and higher‐income households)? 
h. How do food acquisition patterns (e.g., days of week when household 
members obtain subsidized school lunches) and funding sources (e.g., 
cash, credit, SNAP benefits via EBT card, WIC food instruments) for 
purchased items vary throughout the month in relationship to when 
program benefits and/or other income are received? 

Food booklets capture total purchase amount and 
funding source, and receipts will be used to fill 
missing data and for quality control. Timing of food 
assistance benefit receipt is asked during Household 
Interview #1 and confirmed by SNAP administrative 
data. 

i.

Average weekly food expenditures will be 
calculated from information reported in food 
booklets for FAH and FAFH, overall and by food 
group and subgroup. Average weekly non‐food 
expenditures will be calculated from information 
collected in Household Interview #2. 

What are average weekly food expenditures? What share of average 
weekly household expenditures do food costs represent? How are 
weekly food expenditures allocated across food groups and subgroups? 
How do these measures vary by population group? 

2. Characterize the nutritional quality of households’ food purchases and acquired food. 
a. Considering all sources of food acquisition, characterize the food 
choices and nutritional quality of households’ acquired foods. What are 
the differences in USDA pyramid food group units and nutritional 
quality between food purchased primarily for at home (FAH) versus 
away from home (FAFH) consumption? 

Acquired food items will be matched with nutrient 
data from USDA’s Standard Referent Database 
(SR21). MyPyramid units will be merged by SR21 
food codes.  

b. How do these measures vary by population group (e.g., SNAP 
households, nonparticipating low‐income households, and higher‐
income households)? 

Above analyses by population group.1 

3. Characterize the nature of food access of the population universe and groups. 
a. Where do respondents shop for food (type of source/vendor and 
geographic proximity to household), and how do decisions about 
where to shop vary by household characteristics? How do decisions 
about where to shop vary by time of month relative to program 
issuance dates and/or pay dates? Do shopping choices of population 
groups vary and, if so, how? 

FAH shopping locations are reported in the food 
books (Daily List and Blue pages) and observed on 
receipts. The exact location of usual shopping 
locations is also collected during Household 
Interview #1. 
FAFH locations are reported in food books (Daily 
List and Red pages) and reported and confirmed 
during telephone interviews. Proximity is based on 
calculated driving distance.  
Timing of food assistance benefit receipt is asked 
during Household Interview #1 and confirmed by 
SNAP administrative data. 

b. How long does it take for shoppers to travel to their main food stores? 
What mode(s) of transport do they use? What costs (time and out‐of‐
pocket) do households in the sample incur when they shop for food?  

Household interview #1 includes questions about 
usual shopping behavior and modes of transport.  

8 

Study Objective/Research Question 

Data Source  

c. For both SNAP participants and nonparticipants, in what other food 
assistance programs do they and household members participate (e.g., 
WIC, school meals, snacks or meals in daycare, after‐school programs, 
Food Distribution Program on Indian Reservations (FDPIR), Commodity 
Supplemental Food Program (CSFP), food kitchens, and food pantries), 
and with what frequency? What is the relationship of program 
participation to decisions regarding the source of food purchases? 

Household interview #1 includes questions about 
program participation, shopping behavior, and food 
access. Actual shopping destinations are reported in 
food books. 

d. What are the characteristics of food outlets that are available to survey 
respondents? Do these characteristics (e.g., location, type of store, and 
availability of nutritious foods) vary by population group?  

The final database for the National Food Study will 
include characteristics of food outlets within 
proximity to each survey respondent. These 
characteristics will be provided in summary form 
(counts of retailers by type) after identifying 
retailers within certain radii of each survey 
respondent using a commercial directory of food 
stores and eating places loaded in mapping 
software.  

4. Estimate the influence of income and prices on food purchases, including, to the extent feasible, income, own‐price, and 
cross‐price elasticities for purchased food items (both at home and away.) 
a. For the sample population as a whole, what are the income and price 
elasticities of major food categories and subcategories? 
b. How do the estimated elasticities above vary across SNAP participants, 
nonparticipating low‐income households, and higher‐income 
households? 

Elasticities of demand for food can be estimated 
using: household income reported in Household 
Interview #2; FAH prices obtained from Nielsen 
data, receipts, or imputed; FAFH prices reported in 
telephone interviews, obtained from receipts, or 
imputed. 

5. Assess levels of food security of the population universe and subgroups using the 30‐day, adult food security measure. 
a. To what extent do levels of food security vary across different food 
acquisition patterns? For instance, do households that have lower 
levels of food security also have a higher propensity to obtain foods 
and prepared meals from friends or relatives? 

Household Interview #3 includes the food security 
module. Sources of food are identified in food 
booklets. 

b. To what extent do levels of food security relate to measures of current 
food expenditures, program participation, access to and utilization of 
various types of stores, and frequency of food shopping?   

Household Interview #3 includes food security. 
Food expenditures and shopping frequency are 
derived from FAH and FAFH records. Household 
Interview #1 includes program participation. Food 
store access is derived from household and retailer 
locations in proximity to respondents. 

c. How do levels of food security vary among the population groups: 
SNAP participants, nonparticipating low‐income households, and 
higher‐income households? 
6. Assess levels of knowledge about diet, nutrition, and health. 
a. What do responding households know about diet, nutrition, and 
health? What are the relationships between respondents’ knowledge 
and the foods they purchase or otherwise acquire? To what extent do 
relationships between knowledge and food acquisition patterns vary by 
population group? 

Household Interview #3 includes questions about 
diet, nutrition, and health knowledge. 

7. Assess why food purchase and food security outcomes differ for SNAP participants and low‐income nonparticipants, and 
identify the factors that account for those differences.   

9 

Study Objective/Research Question 

Data Source  

a. What are the roles of a household’s current socioeconomic 
characteristics, such as current income and current household 
structure? 

Household Interview #1 will ask about household 
structure (household roster), and recent changes in 
composition;  

b. What other dynamic factors at the household level might affect 
outcomes, including the role of income volatility and recent or 
unexpected household events, such as changes in household 
composition and changes in employment status? 

Household Interview #2 will ask about current 
household income. 

c. What are the roles of other broad components of household 
expenditures (e.g., medical expenses or housing costs) that might be 
large relative to those of other households of similar income or to the 
household’s past expenditure patterns? 

Household Interview #3 includes questions about 
major life events (dynamic factors). 
Household Interview #2 includes questions about 
non‐food household expenditures. 

1

 Analyses by “population group” will compare SNAP participants with low‐income and higher‐income nonparticipants. 

Comment 2:  Relevance of Existing Data 

A number of databases exist which contain data relevant to the research objectives above.  
Each database, however, has important limitations.  ERS does not expect the proposed new 
survey to address all limitations of existing data collection vehicles, but will make a substantive 
contribution to the research community. 

Consumer Expenditure Survey (CE) 

Despite the large amount of information on household expenditures, the CE has a number 
of limitations for ERS research needs: 
• The Diary Survey does not capture information on prices and quantities—data elements 
that are needed to estimate price elasticities. 
• Food item detail is limited to about 100 food categories and subcategories.  This is 
sufficient for some program and policy analyses but is limiting for analyses of food 
quality and/or nutrient content. 
• Food assistance program participation and benefits are severely under‐reported.  Myers 
and Sullivan  (Dec. 2008) estimate that the 2006‐7 CE captures only 38 percent of food 
stamp benefits, and the estimates have been getting progressively worse over time. 
• Food expenditures reported by SNAP participants appear to often count only purchases 
with money and exclude those made with SNAP benefits.  Thus, one cannot reliably 
estimate the effect of program benefits on food purchases. 
• The CE does not over sample the low‐income population. 
• The CE does not measure free food acquired by the households from pantries, gifts, or 
donations, and school meals are not carefully measured. 
• Purchases of food away from home do not assess quality, quantity, prices, or nutrient 
content.  
• The Diary Survey does not include information on expenditures of many large nonfood 
expenditures‐‐such as rent, utilities, and health care‐‐that are typically captured in the 
10 

Quarterly Interview Survey (a different sample).  Thus, one cannot estimate the impact 
of unexpected medical or housing costs on food item spending. 

Survey of Income and Program Participation (SIPP) 

•
•

The main objectives of the SIPP are to collect information on: income by source; 
employment; program participation and eligibility; and general demographic 
characteristics.  
Variables include labor force behavior; income; participation in public programs; basic 
demographic characteristics; living arrangements; food adequacy or abbreviated food 
security module; participation at the individual level in the SNAP and WIC programs; and 
participation at the household level in the free, reduced‐price, and full‐price categories 
of the National School Lunch Program and School Breakfast Program.   
The major limitation of SIPP is that it collects no information on food purchases.   

•

Proprietary Food Purchase Data 

Some private companies develop consumer‐based surveys of food purchases from large 
panels of households.  Panel members report the details of each food shopping occasion at 
a wide variety of store types, including traditional food stores, nontraditional food retailers 
(such as supercenters, warehouse clubs, and dollar stores), and online merchants.  The 
strength of these data collection efforts is that they collect extremely detailed information 
about purchased food items and prices.  Limitations include: 
• They rely on convenience samples, reducing the generalizability of their results; 
• Information may not be collected on food items without barcodes (e.g., deli items, fresh 
produce, bake shop items); 
• No information is collected on food acquired away from home; 
• The survey does not oversample low‐income households; 
• Information on household participation in SNAP is collected only once per year; and 
• The data are proprietary, and ERS use and dissemination of the data would be subject to 
the terms and the conditions of the purchase contract. 

Food Security Data Information 

ERS plays a leading role in Federal research on food security and hunger in U.S. households 
and communities. USDA has developed a standardized survey module for assessing food 
security status. This module is included on a number of national surveys, the most 
prominent of which is the Current Population Survey of the U.S. Census Bureau. 
• In order to explore the relationship between household food security and patterns of 
food acquisition, both sets of information need to be collected from the same 
households at the same time, and no existing surveys do this. 

11 

National Food Stamp Program Survey (NFSPS) 

The NFSPS was conducted in 1996 by the Food and Nutrition Service, U.S. Department of 
Agriculture. The survey collected information on client satisfaction with services provided 
by food stamp offices and agencies, the monetary and non‐monetary costs of participating 
in the Food Stamp Program (FSP), food shopping behaviors, items related to food security, 
and nutrient availability for a nationally representative sample of Food Stamp Program 
participants and potential participants. In addition, information on dietary knowledge and 
attitudes and a 7‐day household food use record was collected from a subsample of 1,000 
of these households. Approximately 1,000 non‐participants were contacted through 
random digit dial sampling to gather information on their experiences with the FSP and 
their reasons for nonparticipation. 
• One major limitation of the NFSPS is that it primarily addressed only Food Stamp 
participants and did not include food information about other portions of the 
population. 
• A second major limitation is that the data were collected about 15 years ago. Many 
important factors affecting household food acquisition decisions have changed since the 
data were collected.  In particular, the data were collected prior to updated dietary 
standards and emphasis on “healthy eating’; household food acquisition patterns are 
changing, especially toward more food‐away‐from‐home; and the food market 
environment has changed with larger numbers of both “dollar stores” and 
“supercenters.” 

National Health and Nutrition Examination Survey (NHANES) 

NHANES is an ongoing survey conducted by the National Center for Health Statistics of the 
Centers for Disease Control and Prevention, U.S. Department of Health and Human 
Services. The survey assesses the health and nutritional status of the population and 
monitors changes over time. A major objective of the survey's nutrition component is to 
provide data for nutrition monitoring purposes, including tracking nutrition, identifying risk 
factors related to food insecurity, and estimating the prevalence of compromised 
nutritional status. A second major objective is to provide information for studying the 
relationships among diet, nutritional status, and health.  

Although ERS participates in the NHANES and expects the data to be valuable for many 
research questions, NHANES primary focus is individual food intake.  Information about 
household food purchases and other relevant economic data are limited. 

School Nutrition Dietary Assessment (SNDA) Surveys 

The Food and Nutrition Service (FNS) of USDA has sponsored three rounds of a survey to 
provide up‐to‐date information on the school meal programs, the school environments that 
affect the food programs, the nutrient content of school meals, and the contributions of 
school meals to children’s diets.  The most recent survey, SNDA‐III, was conducted during 
12 

the second half of school year 2004‐2005 and included surveys of School Food Authorities 
(SFAs), individual schools within SFAs, and individual students within schools.   
• The SNDA surveys collect no information on other food acquisition choices or on prices 
and quantities of acquired food. 

Panel Study of Income Dynamics (PSID) 

•

•

The PSID, begun in 1968, is a longitudinal study of a representative sample of U.S. 
individuals (men, women, and children) and the family units in which they reside. It 
emphasizes the dynamic aspects of economic and demographic behavior, but its 
content is broad, including sociological and psychological measures.  The strength of the 
PSID lies in its panel structure and duration.   
Its major weakness is that, like SIPP, it collects no detailed information on food 
purchases, rendering it of limited value for the research needs described in this 
solicitation.  

NPD Consumer Reports on Eating Share Trends (CREST) 

The NPD CREST dataset is a proprietary database collected and maintained by NPD Group, 
Inc.  CREST tracks purchases in the commercial restaurant industry, as well as ready‐to‐eat 
foods/beverages purchased from other retail establishments such as convenience and food 
stores. The CREST dataset comprises a convenience sample of panelists that is 
geographically balanced across the nine census regions given census demographics.  
Panelists provide demographic and socio‐economic information along with information 
regarding “yesterday’s” consumption of food away from home (FAFH).  The information 
includes meal occasion, number of people in party, expenditures per meal or snack (total 
bill without tip), characteristics of the facility at which food was consumed, and use of 
promotional media. 

The CREST data have the strength of providing somewhat detailed information on a 
component of food acquisition that is often overlooked in other data collections.  Being a 
specialized data product, however, the database lacks information that is important for 
USDA research, especially: 

• prices and quantities of food purchased for preparation and consumption at home; 
• household food security status; and 
• individuals’ participation status in SNAP or other food assistance programs.  

There are also some limitations on the FAFH data that are collected, including what 
products are purchased in what quantities and their nutritional value. 

13 

Comment 3: Modified Procedures and Mid‐Course Adjustment Plans 

The June/July pre‐tests were conducted after completion of cognitive testing of the food 
acquisition instruments with 16 households. The cognitive tests led to significant changes in 
data collection instruments and protocols for training households to use those instruments. The 
pre‐test with 6 households allowed us to test the full study protocol and obtain burden 
estimates. Few changes to instruments were indicated from the pre‐tests. 

The development of the food reporting instruments was guided by two goals: (a) to provide 
flexibility so that respondents could use instruments in a way that worked for them, and (b) to 
include some amount of redundancy in an effort to minimize data loss. The instruments are 
flexible in two respects:  

• Respondents may use a Blue or Red page to report an acquisition if it is unclear where to 
categorize the acquisition. Types of acquisition will be recoded during data processing to 
achieve a consistent coding of acquisitions across all respondents. The Blue and Red pages 
were designed to collect nearly identical data, and information that is “lost” through use of 
the “wrong” form can be retrieved from receipts. 
• The multiple book protocol is designed to give a food booklet to each household member 
age 11 and older, so that each person records their own food acquisitions. Respondents are 
trained to use these food booklets in a way that works for them – combining acquisitions of 
multiple household members in a single food book if it is easier to do so.  

The instruments also provide redundancy: items acquired for food‐at‐home (FAH) are identified 
on both the scanner and receipt; location of food acquisition and tender type are identified on 
both the Blue page and receipt; information about food‐away‐from‐home acquisitions is 
collected via receipts and Red pages, which are used as a recall aid for telephone reporting. 
Redundancy results from use of multiple modes designed to minimize respondent burden and 
data processing costs. For example, respondents can report FAFH acquisitions during the 
telephone interviews by reading information off receipts, this minimizes burden because they 
do not need to write all food items on the Red page if they saved the receipt.  

Because the data collection protocols rely on scanned barcodes and receipts to ensure 
complete and accurate data, it is not possible to test data quality without a large sample of 
varied food acquisitions. The FoodAPS field test is being run to test the quality of data obtained 
from these protocols. While it is true that the field test will include tests of two survey 
protocols and two incentive levels, we expect the survey protocols (single versus multiple book) 
to affect response of individual household members, and we expect the incentive levels to 
affect overall household response. The two survey protocols use the same forms and 
procedures (save receipts and scan groceries) so that we do not expect the two protocols to 
affect the quality of data collected beyond the affect on completeness resulting from 
household member response. 

Pages 17, 18, and 19 of the pilot study report identified the following issues during the pre‐test: 
14 

1. Did respondents alter their normal pattern of food acquisition during the study week? 

Researchers had suspicions of altered behavior because of high variability of FAFH during 
the week. All respondents were debriefed and asked if they altered behavior and all said 
that they did not. A pre‐test sample of even nine households would be too small to analyze 
food acquisitions patterns during the study week, holding day of week and time of month 
constant (absolute and relative to SNAP disbursement). One of the purposes of the field test 
is to obtain a large sample for examining this question. 

2. Were there differences in data quality between the simple (single book) and comprehensive 
(multiple book) versions? 

There appeared to be little difference in data quality across survey protocols. One 
household assigned to the multiple book protocol used the instruments according to a 
single book protocol, but the sample was not large enough to determine that the single 
book is preferred and would yield higher response. The field test will provide this 
information.  

3. Did household members “take the easy way out” and report no food acquisitions every day 
to get the incentive? 

There was some concern that some household members simply checked “nothing to 
report” at the top of the Daily List form each day to indicate participation. Instruments were 
revised following the pre‐test to remove this checkbox so that there would be no reminder 
of this “easy way out.”  

4. We realized that we need to provide greater clarification to households about what 
qualifies them for the call‐in bonus. 

Survey instruments were revised to indicate that “If you do not call us, you will not receive 
the telephone bonus.” We set the criteria that a household will receive the telephone bonus 
if they complete all three telephone calls and at least two of the three calls are “call‐ins.” 

Mid‐course adjustments:  The survey will be monitored closely during the field period to 
determine if mid‐course adjustments are needed. Because we have designed the food 
reporting protocols to be flexible and somewhat redundant, we anticipate that changes will 
most likely be indicated for (a) training of respondents to use the food reporting instruments, 
and (b) amount of contact with respondents. However, changes to instruments may also be 
indicated and we will plan for this with limited print runs of the initial survey instruments. 

Respondents will be trained to use the food reporting instruments during the first field 
interviewer visit. We have planned for mid‐week re‐training of respondents, if needed, by 
telephone interviewers who will be trained to use the food reporting instruments and will 
15 

practice by using these instruments themselves for one‐week prior to the field test. Telephone 
interviewers must understand the instruments so that they can collect information during the 
telephone reporting phone calls; this training also allows them to re‐train respondents as 
needed if a respondent is having trouble during the week. Telephone interviewers also have call 
logs to note problems that respondents are having, thereby notifying the telephone supervisor 
who will determine whether or not to authorize a field visit to an individual household. 

The field test will also be monitored weekly at the aggregate level, through statistics on: 
screening rates, response rates, length of each interview, number of missed food reporting 
telephone interviews, length of the food reporting telephone interviews, number of field 
interviewer visits to households in mid‐week, and number of household members participating. 
Every week, we will process the scanner files to examine the average number of “places” 
reported and the average number of items scanned per place. These indicators will tell us 
whether or not the target response rates are being met and whether respondents are having 
trouble with protocols (missed or lengthy phone calls to report food acquisitions; less scanner 
data than expected). Failure to achieve adequate response rates may require retraining of 
screening procedures. Indicators that respondents are having problems will be further 
investigated through examination of the telephone reporting call notes and supervisor 
monitoring of calls to detect issues that can be addressed with changes in field training of 
respondents. The field test has budgeted for extra household visits by field interviewers for 10 
percent of households.  

Assuring Data Quality with Additional Staff Training:  During our discussions, OMB suggested 
that an additional pre‐test could be conducted by asking field and telephone interviewers to 
follow the food reporting data collection protocols for one‐week after training and prior to the 
field period, with Cambridge research staff conducting one telephone food reporting call with 
each FI. This protocol would serve two purposes: 

•

•

Research staff will learn about problems and questions that interviewers encounter with 
the data collection protocols prior to the start of the field period. 
Interviewers will gain additional knowledge of the data collection protocols, thereby 
increasing their effectiveness during the field period. 

This additional pre‐test of the food reporting instruments will provide information to make 
adjustments in the training scripts that FIs use for training households, and/or adjustments in 
the protocols for the food reporting telephone interviews. Changes to instruments may also be 
indicated by we will document those indications and assess them together with the results of 
the 50‐case assessment at the start if the field period, which is described below. 

We propose to adopt this additional pre‐test, with one modification. Mathematica has 
suggested that that FIs receive a brief 2‐hour training one‐week in advance of the full field 
interviewer training. The 2‐hour training will mimic the training that FIs provide to respondents; 
training time is longer than planned for respondents because FIs will be trained in a group 
16 

setting and the Q&A time in a group setting is longer than in an individual setting. After 
training, FIs will follow the food reporting data collection protocols for on‐week, and arrive at 
the full training with background, knowledge, and questions about the food reporting 
protocols.   This addition is tantamount to changing the scope of the contract and must 
therefore be approved by USDA Contract Office.  The adoption of this pre‐test will require 
additional funds which must be also approved by ERS, and will be subject to availability of 
funds.  If this suggestion is acceptable, ERS will request a price quote from MPR.  

Our proposed schedule for including the interviewer pre‐test is: 
• Jan 10‐11: Provide multiple 2‐hour training sessions for groups of field and telephone 
interviewers, consistent with the plans for respondent training.  
• Jan 10‐16: Interviewers track food acquisitions in food booklets 
• Jan 12‐14: Mathematica research staff will conduct a “food reporting call” with 
interviewers. The number of days of food acquisitions reported in this call will range 
from 2 to 4 depending on the timing of the call. 
• Jan 17‐18: Telephone Interviewer Training (includes debriefing on food reporting) 
• Jan 19‐21: Field Interviewer Training (includes debriefing on food reporting) 
• Jan 26: Start of Field Test 

Following the Jan 17‐21 training sessions, Mathematica will compile a memo to ERS describing 
the interviewer pre‐test and debriefing. This memo will be based on manual review of food 
booklets and will report: counts of food events with and without receipts, comparison of 
scanner data with receipts for a sample of households, percentage of additional household 
members that participated, and reported problems or suggestions for improvements voiced by 
the interviewers who used the food booklets. These items are shown in Table 1. The data 
collected in food booklets after the time of the telephone reporting call will not be entered into 
a database for analysis, but these data will be assessed through manual review and manual 
coding of the information needed to fill Table 1. 6   

Assuring Data Quality with a Sequential Field Test: One suggestion that was voiced by the 
TWG and raised by OMB is sequential pre‐tests. OMB suggested that sequential testing of the 
data collection protocols could be achieved within the field test by imposing discrete stopping 
points at which we would assess data quality and make adjustments to the data collection 
protocols. As discussed above, Mathematica has developed a reporting system for weekly 
monitoring of field activities and data collections. Stopping and starting field activities imposes 
significant risks including the loss of trained field interviewers and unintended changes in FI 
administration of the data collection protocols after breaks from field activities.  

Because of the risks to stopping field activities, we suggest imposing a discrete “stopping point” 
at which time we will analyze data collected thus far without halting field activities. Analysis 
would include examination of all of the regularly monitored items, plus analysis of scanned data  

6

Telephone interviewers will enter their own information into the reporting system as a practice exercise during and
after the Jan 17-18 training.

17 

Table 1. Measures for Assessing the Pre‐Test with Interviewers (New) 

Interviewers with 
Multiple Booklets 

Interviewers with 
 Single‐Binder  

Metric 

Measures of Participation and Burden 
Percentage of all household members  
participating in survey 

Percentage of respondents that completed all 
seven Daily List pages 

Average length of food reporting telephone calls? 
Percentage of respondents with any non‐scanned 
items written on Blue pages  
Average number of items per household scanned 
from the Barcode Book 

Average number of FAH acquisitions per household   

Average number of FAFH acquisitions (per adult 
male equivalent) 

Measures of Compliance with Survey Protocols 
Do respondents save receipts? 
• % of all FAH purchases with a saved receipt 
• % of all FAFH purchases with a saved receipt 

Do respondents scan and record FAH items? 
• % of FAH items listed on receipts that are 
scanned or recorded on Blue page 

Percentage of Blue Page questions with missing 
response (item nonresponse) 

Percentage of FAH acquisitions with missing PLACE 
delimiter in scanner file 

Percentage of households with completed Meals 
and Snacks Forms; percentage with nonresponse 
for some household members 

Reported Problems with Survey Protocols 

Percentage of respondents requiring food booklet 
retraining during telephone call  

Respondent rating of survey protocol on a 5‐point 
scale from easy to difficult (Asked by anonymous 
postcard survey administered at the full training) 

Percentage of respondents requiring scanner 
retraining during telephone call 

Percentage of respondents who said they changed 
food acquisition behavior because they had to 
keep track of acquisitions (Asked by anonymous 
postcard survey administered at the full training) 

18 

and quality control reviews of completed food booklets. We will report on the same measures 
assessed after the pre‐test with interviews (with the exception of the last two items in Table 1). 
And we will examine food patterns during the data collection week, with the measures listed in 
Table 2. 

The timing of this initial assessment of data quality is important because SNAP households will 
comprise half of the sample, and their food acquisitions vary throughout the month relative to 
the SNAP benefit disbursement date. New Jersey SNAP issues benefits over the first 5 days of the 
month. With the field period beginning on January 26, SNAP households recruited to begin data 
collection on January 26‐28 (with their weeks ending on February 1‐4) will be observed in their last week 
of the SNAP issuance month and with no large FAH acquisitions. Thus we propose the following 
schedule:  

•
•
•
•

January 26 ‐ Field interviewers begin data collection 
January 29 – February 4 = start dates for household data collection weeks for the 50 
cases that we will analyze 
February 10 – Dump data for analysis of 50 cases 
Week of February 14 – analyze 50 cases  

By the time we complete analysis on Feb 21, we can expect to have a total of 150 to 200 completes. 
Thus any changes to survey protocols may require a brief stop in field activities to ensure that changes in 
protocols are implemented for at least half of the field test cases. 

19 

Table 2. Assessment of Data Quality after Obtaining 50 Completed Cases in the Field Test 
Question / Issue 

Measure 

Did respondents alter their normal 
pattern of food acquisition over the 
course of the study week 

Run regressions on household level data:
Household food acquisitions ($) per adult male 
equivalent as a function of  
• Day of week (Mon‐Sun) 
• Days since start of reporting week 
• Days since SNAP disbursement 
• Household characteristics 
Compare the coefficients on the days of the 
study week to determine if behavior changes 
over the course of the week. 
Examine between group differences for all 
measures in Table 3, for groups defined by 
single binder and multiple booklet protocols. 

Were there differences in data 
quality between the simple (single 
book) and comprehensive (multiple 
book) versions? 

Does food acquisition data match 
typical behavior reported by 
households in Household Interview 
#1?  

Does the survey protocol (single 
binder versus multiple booklet) 
affect reporting by other household 
members? 

Compare FAH place with “Where (do 
you/does your household) do most of your 
food shopping? (HHint#1)”  

Compare number of FAFH events per 
household member with  

How many times  (do you / does NAME) eat 
dinner out during an average week?  

If HHSIZE>1: 
How many times do you eat dinner out as a 
group during an average week?  

Run regressions on person level data:
Number of FAFH events as a function of 
• Survey protocol 
• Indicator for main respondent 
• Age 
• Gender 
• Day of week 
• Days since start of reporting week 
• Household characteristics 

Where and when to make 
assessment 

1) 50‐case assessment 
2) End of Field Test 

1) 50‐case assessment 
2) End of Field Test 

1) 50‐case assessment 
2) End of Field Test 

1) 50‐case assessment 
2) End of Field Test 

These reviews could lead to changes in the following protocols: 

1. FI scripts for training respondents  
2. Protocols for food reporting telephone interviews 
3. Number of field interview visits to the household 
4. Number and timing of food reporting telephone interviews 
5. Content of data collection instruments 
20 

The additional round of analysis and reporting is also tantamount to changing the scope of the 
contract and would impose additional costs, which will be subject to availability of funds. The 
first and second type of change would require minimal retraining costs for field or telephone 
staff (changes for field staff would be distributed to team leaders who would train their team). 
The third and fourth type of change would impose additional data collection costs which would 
be evaluated at the time that the data analysis is reported to ERS.  We suggest adopting this 
strategy, including number 1 and 2 above.  If this suggestion is acceptable, ERS will request a 
quote from Mathematica.  

Comment 4: Summary of Tests and the Associated Performance Metrics 

Our estimates of design effects for the entire study were based on a 2 stage sample design, 
assuming a maximum ICC of 0.05.  Our sample, however, uses a 3 stage design, where SSUs are 
clustered within PSUs and households within SSUs.  In estimating the design effect for this 
design we must assume (?) values for ICCA and ICCB where ICCA is the within PSU correlation 
among the SSUs and ICCB is the within SSU correlation among households.  We estimate that a 
value of 0.30 of ICCB with 8 SSUs per PSU would be unlikely to lead to a design effect greater 
than a 2 stage design with an ICC of 0.05.  

The estimate of the ICC will be quite variable. Its variability is a function of the number of 
variables over which it is estimated. We will select 15 to 30 measures and estimate the ICC for 
each. Here are some examples: 

• Number of FAH and FAFH transactions and total # food acquisitions 
• Dollar amount spent on FAH and FAFH, and total spent on food 
• Percent of FAH spent at supermarkets 
• Percent of FAFH spent on fast food 
• Percent of FAH spent on fruits & vegetables (and other food groups) 
• Percent of households that are food insecure 
• Distribution of households by measures of nutrition knowledge 
• Percent of households residing within 1 mile of supermarket 

Rather than computing a confidence interval (which even with exact tests might be wide) or 
conducting a statistical test of a hypothesis, we will examine the distribution of the ICCs over 
the selected variables. If the sample median ICC is 0.30 or above we will either increase the 
number of SSUs for the main study or enlarge the size of the SSUs from Block Groups to Census 
tracts. 

Table 3 summarizes the Field Test Performance Measures, that are the outcomes by which we 
will evaluate whether modifications are needed to the study design. The first column specifies 
the outcomes. The second column presents our criteria, which are minimum acceptable values 
except in the case of the intracluster correlation, which is a maximum. The other four columns 
21 

present ranges of minimum detectable differences (MDDs).  An MDD is the smallest difference 
that the sample can be expected to detect for a specified level of power (the probability of 
detecting the difference).  

 The MDDs in Table 3 are based on 80 percent power and a 95 percent confidence level. 
However the third and fourth columns are based on a 1 tailed test while the MDDs in the fifth 
and sixth columns are based on a 2 tailed test. For example the MDD in the 3rd column for 
Percentage of sampled households that agree to screening is 3.9. Column 3 is based on a low 
design effect of clustering. So if the design effect is low (ICC = 0.01) the sample has an 80 
percent probability of  detecting  as statistically significant  a propensity to cooperate that is at 
least 3.9 percentage points less than the minimum acceptable screening cooperation rate of 70 
percent. Similarly, with the low design effect of clustering there would be an 80% probability of 
detecting a difference of at least 7.6 percentage points in the screening rate between 
households assigned to the two incentive levels. 

Weighting the Field Test Data 
For analysis of the field test data, it is appropriate that each PSU be given equal weight. We 
note that if the 2 field test PSUs had been selected with PPS, as the PSUs for the main study 
have been, the sums of the analysis weights for the households in each would be approximately 
equal (the composite MOS and non‐response adjustments would introduce some differences). 
Within PSUs the field test analysis weights will adjust for differences in probability of selection 
and propensities to respond. 
The field test weights will have 4 components: 
1) The first component of a household’s weight will be the inverse of its probability of 
selection. We will calculate the probabilities of selection for each household as the product 
of the selection probabilities of the SSU to which it belongs and the address at which it 
resides. 
2) The next component will be a non‐response adjustment that will be calculated separately 
within PSU for each frame: SNAP addresses and the ABS frame for non‐SNAP households. 
Before constructing the weights we will use logistic regression models to determine if other 
factors should be used in adjusting for non‐response, and whether a 2 stage adjustment 
(screening non‐response and non‐response occurring after screening. 
3) The non response adjusted weights will be examined to determine if trimming is 
appropriate and if so, the weights will be trimmed, using the PSUs as the main trimming 
cells. 
4) The weights will be scaled so that the sums of the weights are the same for each PSU. 

22 

Table 3. Performance Measures and Metrics Being Tested By the FoodAPS Field Test  

Metric 
Intra Cluster correlation at SSU level  

Minimum 
acceptable 
valuea 
Sampling
0.3

Minimum Detectable Differences (MDD)
 in Percentage Points 
Between 
Between 
Overallb  Overallb 
Groupsd 
Groupsd 
c
c
c
High  
Low  
Low  
Highc 
NA

NA

NA 

NA

3.3 

5.9 

NA 

NA 

70% 

3.9 

6.9 

7.6 

11.8 

80% 

5.1 

7.1 

10.8 

13.3 

70% 

5.8 

8.1 

12.4 

15.2 

Percentage of all members of participating 
85% 
4.6 
6.3 
households that participate in survey 
Validation of Survey Responses through Data Matching
Percentage of survey respondents accurately 
NA 
NA 
NA 
reporting SNAP participation (validated by 
match with SNAP caseload)e 
Adherence to Survey Protocols
Do respondents complete telephone calls for 
food reporting? 

75% 
5.5 
7.6 
•
% of all calls that are incoming 
75% 
5.5 
7.6 
•
Number of completed calls as a 
percentage of expected calls  

Do respondents save receipts? 
•
% of all FAH purchases with a saved 
80% 
4.9 
6.9 
receipt 

9.6 

11.8 

NA 

NA 

Percentage of adjacent addresses in sampling 
frame [Measure of frame completeness] 

80% 
Response rates

Percentage of sampled households that agree 
to screening 

Percentage of eligible households that agree 
to participate (complete training and 
Household Interview #1)  

Percentage of eligible households that 
complete all components of data collection  

11.6 
11.6 

14.3 
14.3 

10.2 

12.8 

7.6 

9.6 

7.6 

9.6 

7.6 

9.6 

Do respondents scan and record FAH items?
90% 
3.6 
5.2 
•
% of all FAH items listed on receipts 
that are scanned or recorded 
Match of FAH Data Items with Full Item Description and Priceb 
Percentage of all FAH items matched with UPC 
90% 
3.6 
5.2 
data dictionary 

Percentage of all FAH items with price 
90% 
3.6 
5.2 
matched from Nielsen data or store receipts 

NOTES: NA = not applicable. SNAP participation will be validated for the full‐scale survey, regardless of the findings of the pre‐
test.  a  For ICC the Value is the Maximum Acceptable.  b  Overall MDD is based on a one ‐tail test, 80% power and 95% 
confidence; it is based on the null hypothesis that the population value is at least the minimum.  c  Low is based on an ICC of 
d
0.01 and High on an ICC of 0.05 (conservative for measures such these).     Between Group MDD is based on a two ‐tail test, 
80% power and 95% confidence; it is based on the null hypothesis that the difference between 2 groups of equal size is zero.     
e  
MDDs are not provided for the validation of reported SNAP participation with administrative data because this validation is 
used primarily to revise our sample allocation among the SNAP and non‐SNAP strata. 

23 

Comment 5:  Low Incentives 

OMB indicated that the base incentives may be too low given the burden of a one‐week data 
collection and they expressed concern with the staggered plans for distributing incentives to 
households (base incentives at the end of the data collection week, with the telephone bonus 
and additional gift cards distributed by mail four to six weeks later). OMB also requested that 
we obtain additional expert consultation from Dr. Geraldine Mooney at Mathematica Policy 
Research. 

The original low and high incentive structures provide a base incentive of $50 / $100 (low / high 
groups); a telephone bonus of $25 if the household initiates all three food reporting calls; and 
an incentive of $20 / $25 (low / high) for additional household members over age 5. The 
maximum incentive for a one‐person household is $75 under the low incentive scheme and 
$125 under the high incentive scheme. The average maximum household incentive, considering 
household size, is $97 and $152 for the low and high incentive groups, respectively.  

The incentive structure was developed to meet the burden of three 30‐minute interviews, 
tracking food acquisitions, and reporting food acquisitions three times in a 15‐minute 
telephone call. The burden of reporting food acquisitions was based on estimates of the 
average number of FAH and FAFH acquisitions. Burden is not based on seven days of reporting  
because, while foods are consumed every day, they are not necessarily acquired every day. The 
incentive structure was developed prior to the development of a one‐hour respondent training 
session during the first field interviewer visit. This training adds significant burden, thus we 
agree with OMB that the low incentive level is too low to compensate households for the 
lengthy initial household visit in addition to other data collection activities.  

After initial discussions with OMB we made the following changes to the incentive structure: 7 
•

Timing of providing gift cards to households – all incentives will be provided to the 
household at the end of the data collection week during the field interviewer’s final 
visit. 

•

Eliminated eligibility for “additional household member” incentive for children under 
age 11. This incentive is designed to motivate additional members to provide 
information. Children under age 11 are not expected to acquire food on their own, aside 
from school lunches. 

•

Revised the amounts of “additional household member” incentives:  All children age 11‐
14 receive a $10 gift card; persons age 15 and older (except for the main respondent) 
receive a $20 gift card, with no difference for the low and high incentive groups. 

7

OMB suggested a lower base incentive for one-person households to reflect their expected lower burden. We did
not adopt this suggestion because there is no evidence that the burden is lower – one-person households may have
more food away from home acquisitions, compared to larger households.

24 

•

Revised the structure of telephone bonus: provide this bonus on a per call basis as $10 
/call. 

These changes increase the value of the telephone incentive by $5 per household, and reduce 
the incentive based on household size by eliminating the payment for household members 
under age 11. These changes also eliminate the differential incentive for additional household 
members in the low and high incentive groups.  

We simulated the average maximum household incentive using the SNAP quality control data 
for New Jersey to account for household size and age‐group composition. The average 
maximum household incentive for the low and high incentive groups before and after the 
changes in the incentive scheme are: 

•
•

Original average incentives: $98 / $154 for low and high incentive groups 
Revised average incentives: $88 / $138 for low and high incentive groups 

The revised incentive structure was discussed with Dr. Geraldine Mooney, who indicated that 
the incentive structure should address two primary concerns: (1) obtaining initial cooperation 
or agreement to participate, and (2) motivating households to stay engaged and complete the 
data collection week. The two alternate base incentives of $50 and $100 provide a test for the 
first objective (initial participation rate). To test levels of incentive that address “completeness” 
throughout the data collection week, Dr. Mooney suggested that we provide two levels of 
incentive for the telephone bonus. However, in order to determine the most efficient incentive 
level (acceptable response rate at lowest cost), OMB requested that we implement a higher 
telephone bonus incentive only as a sequential adjustment during the field test if needed. 

Our final incentive structure is shown below. 

Low incentive group  High incentive group 
Base incentive 
$50 
$100 
Telephone bonus 
$10 / call 
$10 / call 
Additional HH members 

$10 
$10 
• Age 11‐14 
$20 
$20 
• Age 15 and over 

The base incentive is $50 / $100 (low / high groups); a telephone bonus of $10 per call for both 
groups if the household initiates each of three food reporting calls; and an incentive of $10 and 
$20 for additional household members ager 11‐14 and age 15 and above, respectively.  The 
maximum incentive for a one‐person household is $80 under the low incentive scheme and 
$130 under the high incentive scheme.  

25 

The incentive payment per household depends on the number of people in the household by 
age group. Table 4 shows the distribution of SNAP households by household composition, as it 
corresponds to the food booklets and incentives distributed by the study. 8 

Table 4.  Distribution of Types of Households 
Type of household defined by  
members eligible for incentive 
Single adult Households 

Percent 

Avg 
HHsize 

Avg number of additional HH members 
eligible for incentive 
Kids, 
Youth, 
Teens, 
Adults 
age <11 
11‐14 
15‐18 

1 

One person household 

43.5 

1.0 

0 

0 

0 

0 

2 

No youth or teens 

18.0 

2.8 

1.8 

0 

0 

0 

3 

Youth only 

7.0 

3.3 

1.1 

1.2 

0 

0 

4 

Teens only 

3.4 

4.3 

0.8 

1.3 

1.2 

0 

5 

Youth and teens 

5.3 

2.8 

0.6 

0 

1.2 

0 

Multiple adult households 
6 

Adults, No youth or teens 

7 

14.6 

3.3 

1.3 

0 

0 

1.1 

Adults and youth  

3.2 

4.8 

1.5 

1.3 

0 

1.1 

8 

Adults and teens  

2.1 

5.8 

1.1 

1.3 

1.3 

1.2 

9 

Adults, youth, and teens 

2.7 

4.3 

0.8 

0 

1.3 

1.2 

Table A.1 from OMB Part A is shown with the revised incentives. The average expected 
household incentive is based on the number of household members age 11 and older by type of 
household, as defined in Table 4. 

8

Estimates of SNAP household size and composition are based on USDA, Food and Nutrition Service, FY2009
SNAP Quality Control data.

26 

Table A.1. Incentive Levels to be Tested in the National Food Study Field Test  
Type of 
household 

Percentage 
of Samplea 

Averageb 
Low 
Incentive 

1 
2 
3 
4 
5 
6 
7 
8 
9 

43.5 
18.0 
7.0 
3.4 
5.3 
14.6 
3.2 
2.1 
2.7 

50 
50 
62 
86 
73 
71 
82 
117 
101 

Average 

59 

a

Average 
Telephone  Total Low 
Bonus 
Incentive 

$10/call 
$10/call  
$10/call  
$10/call  
$10/call  
$10/call 
$10/call 
$10/call 
$10/call 

Average 
High 
Incentive 

Telephone 
Bonus 

Average 
Total High 
Incentive 

80 
80 
92 
116 
103 
101 
132 
147 
131 

100 
100 
112 
136 
123 
121 
112 
167 
151 

$10/call 
$10/call 
$10/call 
$10/call 
$10/call 
$10/call 
$10/call 
$10/call 
$10/call 

130 
130 
142 
166 
153 
151 
162 
197 
181 

89 

109 

139 

b

 Type of household is defined in Table 4.    Average incentive amounts are equal to the base incentive ($50/$100 
for low and high) plus the average incentive based on number of household members by age group eligible for 
additional household member incentive ($10 for children age 11 to 14; $20 for persons age 15+).  

As discussed under Comment 3, we will examine response rates and completion rates on a 
weekly basis throughout the data collection period. A 50‐case in‐depth assessment will be 
conducted early in the data collection period. We have a contingency plan for each component 
of the incentive scheme as follows: 

1. Base incentive for the low incentive group– If  
a. percentage of sampled households that agree to screening < 70%, 9  or 
b. percentage of eligible households that agree to participate < 80% 

Then the low base incentive will be increased from $50 to $75. 

2. Telephone bonus – If 
a. percentage of telephone calls that are incoming from either the low or high 
incentive group < 75%, then the telephone incentive will be raised from $10/call 
to $15/call for that group. 

3. Additional household members  – If 
a. percentage of participating additional household members age 15 and older in 
the low and high incentive groups combined < 85%, then increase the gift card 
for age 15 and older from $20 to $25; 

9

Households do not receive an incentive after completing the screener. If, however, after reading the advance letter
and description of incentives, fewer than 70% of households agree to be screened for eligibility, we will increase the
offered incentive amount for participation in hopes of increasing the percentage of households that are willing to be
screened.

27 

b. percentage of participating additional household members age 11‐14 in the low 
and high incentive groups combined < 85%, then increase the gift card for age 
11‐14 from $10 to $15. 

Our contingency plan allows for up to four changes in the incentive structure. Each potential 
change will be assessed independently according to the conditions listed above. These 
conditions will be initially assessed after obtaining 50 completes, and again after 100 
completes. If the conditions listed above are not met after 100 completes, changes to the 
incentives will be implemented after obtaining 200 completes so that any change in incentives 
is implemented for half of the sample. After completion of the field test, the effectiveness of 
the change in incentives will be assessed using the measures listed above and comparing those 
measures before and after implementing the change. 

As noted, we will separately assess the separate components of the incentive structure. We will 
also assess the effectiveness of the telephone bonus separately for the low and high incentive 
groups because the effectiveness of the telephone bonus (received by the main food shopper) 
is not independent of the effectiveness of the base incentive (also received by the main food 
shopper). For example, persons who receive a $100 base incentive may be less responsive to a 
small change in the telephone bonus, as compared to those who receive a smaller base 
incentive. 

If all contingencies are exercised, the incentive structure will be as follows: 

Low incentive group  High incentive group 
Base incentive 
$75 
$100 
Telephone bonus 
$15 / call 
$15 / call 
Additional HH members 

$15 
$15 
• Age 11‐14 
$25 
$25 
• Age 15 and over 

Comment 6: TWG Review of Pilot Design 

TWG members received copies of the data collection instruments in May 2010, after they were 
revised to incorporate findings from the cognitive tests. Two TWG members indicated verbally 
that they reviewed the materials and had no comments. 

One TWG member (statistician) reviewed the sampling plan and discussed the plan with Mathematica 
and ERS via teleconference. No changes to the plan were required as a result of these discussions. 

Comment7:  Edited as suggested.  

Comment 8:  Appendix C, Advance Letter description of study does not adequately describe 
the detailed collection of food acquisitions.  

28 

The advance letter has been revised per OMB comment and also includes revisions in response 
to IRB comments. Appendix C has been resubmitted. 

Comment 9:  Appendix O, Household Interview #2, Question A19a (Amount owed on owned 
vehicles) may be difficult for respondents to answer.   

Question A19a has been revised per OMB comments to ask for the number of monthly 
payments needed to pay off the vehicle. Appendix O has been resubmitted. 

Resubmitted Appendices 
Table 6 lists the appendices that have been revised in response to OMB or IRB comments, or to 
reflect revised incentive amounts. Appendices C, D and F have been resubmitted. Other 
appendices include minor changes and the affected pages are attached to this response. 

Table 6. Revised Appendices  

Appendix 
Change 
C  Advance Letter and Study  Advance letter revised to include new incentive amounts 
Brochure 
and a more detailed description of food collection. 
Brochure description of incentive revised from “You can 
receive up to $100 for being part of this study.” to “You can 
receive over $100 for being part of this study.” 
D  Household Screener 
Revised per IRB comments to explicitly ask for consent and 
to add confidentiality statement before INTRO2. 
Instrument was formatted for use in the field and Short 
Form for Nonrespondents (Appendix E) was incorporated at 
the end of this form. 
E 
F 

Short Form for 
Nonrespondents 
Consent Form 

This appendix is dropped – see above. 

G 

Household Interview #1 

Add confidentiality statement to introduction. 

I 

Single Book for Reporting 
Food Acquisitions 

Add consent language on front cover along with a place for 
each household member to provide initials affirming 

Revised per IRB comments to add a sentence on the 
purpose of the study and explanation of who Mathematica 
is; add the expected minutes per study component, topics 
per household interview; add explanation that incentives do 
not affect SNAP benefits; ask for explicit consent for match 
with SNAP data; add information about the payment form 
of the incentives; add that there are no anticipated risks 
from participation; add contact information for IRB. 

29 

consent. 
K 

Adult Food Booklet 

Add consent language on the front cover along with a place 
for household member to provide signature affirming 
consent. 

L 

Youth Food Booklet 

Add consent language on the front cover along with a place 
for youth to sign name affirming consent. Revise dollar 
amounts provided on sample page #2. Change $20 to “gift 
card” on first page. 

N 

Household Interview #2 

Add statement on confidentiality before INTRO. Revised 
question A19b. Added response categories to question B5. 

O 

Household Interview #3 

Add statement on confidentiality before INTRO. Add context 
for question F3b (citizenship).  

30