Pilot Report, NEA Festival Study

Pre-Test REPORT.pdf

Study of Outdoor Arts Festivals in the United States

Pilot Report, NEA Festival Study

OMB: 3135-0126

Document [pdf]
Download: pdf | pdf
 
10367 12 Hills Road, Suite B, Clarksville, Maryland 21029
Telephone • (410) 531-2121
FAX • (410) 531-3100
  
 
 
 
 
 
 
 

Survey of Outdoor Arts Festivals: 
Report on the Results of 
Questionnaire Pre‐Test 

 
 
 
 
October 14, 2008 

 
 

Results of Survey Questionnaire Pre‐Test 
Conducted for the National Endowment for the Arts 
 
 

Description 
 
Seven people participated in the survey pre‐test: Heather T. Spicuzza 
(Ordway), Dennis Lynch (Shenandoah Valley Music Festival), Beth Macmillan (Reno 
Artown), Jennifer Pickering  (Lake Eden Arts Festival), Kim Plyler (ArtsQuest, 
Musikfest), Rick Bryant (Central PA Festival of the Arts), and Linda Lucero (Yerba 
Buena Festival).   The pre‐testers answered the survey questionnaire and then 
participated in a 90‐minute telephone conference on October 6 or 7, 2008, giving 
feedback about questionnaire length, item clarity, response choice availability, and 
overall impressions of the questionnaire.   
 

Response Burden 
 
 

Paper Version 
Pre‐testers timed themselves answering the questionnaire using a paper 
version.  Several people reported answering much slower than they would have 
under ordinary survey conditions.  They explained that they wanted to review each 
question very carefully for the sake of the pre‐test, deliberating over question 
wording and completeness of response options.  By their account, the average 
response burden, 21 minutes, is an overestimate.  Furthermore, given that the 
survey population seems uniquely motivated to assist with research about their 
field, the questionnaire does not seem unduly long.  As one person commented, the 
survey should “bring visibility to the field,” which is important both to NEA and to 
festivals themselves. 
 
Electronic Version following Pre‐Test of Paper Version 
Silber & Associates created an online version of the survey questionnaire that 
incorporates suggestions from the pre‐test.  Because electronic formatting greatly 
facilitates the ease with which a person answers a survey, and because pre‐test 
participants said they answered slower than they ordinarily would, we tested the 
length once again.  Five Silber & Associates staff members answered the survey.  
Although obviously they are not festival directors, they attempted to mimic what 
would be required for a director to answer each survey question.  If a question, for 
example, asked for financial information, they mimicked the process of retrieving 
financial records.  On average the online version took about 10.5 minutes.  However, 
to allow for the possibility that Silber & Associates’ staff underrepresented the time 
required to retrieve financial records, I suggest we adjust the estimated length by 
25%‐‐‐to 13 minutes.      

Silber & Associates                                                  1                                                 Pre‐Test Report 10/14/08                                  

Overall Impressions 
 
 
All seven gave favorable reviews of the questionnaire overall.  It was 
described as “clear and unbiased,” with “really good, fundamental questions,” and 
someone added he was “impressed with your knowledge of outdoor arts festivals.”   
 
 
I asked pre‐testers whether the information we asked for was readily 
available, or whether our questions required a fair amount of background research.  
The general consensus was that most of the information was at their fingertips, and, 
as someone put it, the festivals already “need to know the data that’s asked.” 
 
 
Several people said they need a better idea of the purpose behind the survey.  
Why are these questions being asked?  For what purpose does NEA want the 
information?  Is it for strategic planning?  Budget planning?  Improved customer 
service?  As one person commented, “It’s not entirely clear from the introduction 
what the purpose is, and some people could be concerned that their funding could 
be affected.”  I recommend, therefore, that we beef up the introduction to explain in 
more specific terms why the survey is being conducted.   
 

 
Organization of this Report 

 
 
During the telephone conference, I took the pre‐testers page by page for a 
detailed look at each question.  Those questions that received useful feedback are 
displayed on the following pages.    
 
 

Silber & Associates                                                  2                                                 Pre‐Test Report 10/14/08                                  

Question­by­Question Feedback 
 
Screening Question B:  When the [specific name] festival in [city/town] was held 
most recently, approximately what share of events was held outdoors?  If the festival 
is being held for the first time, answer based on your plans.    
o 100% (all outdoors)  
o 75%‐99%  
o 50%‐74%  
o 25%‐49%  
o 1‐24%  
o 0% (all indoors)   
 
Feedback:  One person (Heather from Ordway) said the answer was difficult to 
determine.  She said her festival “has large gatherings outdoors but also large ones 
indoors” and wasn’t sure whether to base her answer on the number of days, events, 
or attendees.  She answered 50‐74% because all in all, she felt that the festival is 
split fairly evenly.   
 
Recommended Action:  None.  I think it’s ok to let organizers make this judgment. 
 

Silber & Associates                                                  3                                                 Pre‐Test Report 10/14/08                                  

Q1. We realize that many festivals have numerous dimensions and purposes.  Which 
of the following festival types describe yours best?  Choose all that apply.     
Anniversary or Commemorative
Arts and Crafts
Bazaar
Carnival
Charity Event
Community Networking
County Fair
Film
Food Festival
Historical Theme (e.g., Renaissance)
International
Literary
Mardi Gras
Mummers Festival
Performing Arts
Racial/Ethnic Heritage
Religious
State Fair
Other: _______________
 
Feedback:   
• Several people said we left the following festival event types off the list:  
Music, Visual Arts, and Children/Family.   
• One person each suggested we add these event types:  Fine Arts, Education, 
Dance, and Gay/Lesbian/Bisexual/Transgender. 
• Dennis (Shenandoah Valley Music Festival) said he didn’t know what we 
meant by Bazaar.  
• Dennis suggested we change Arts and Crafts to Art and Craft, since he found 
the former juvenile.  (I think he said Arts and Crafts sounded pejorative.) 
• Even though the list is alphabetical, Dennis suggested we move State Fair 
under County Fair, or vice versa, since conceptually they belong together. 
   
Recommended Action:   
• Adding the suggested event types makes sense to me, especially Music, Visual 
Arts, and Children/Family, but this should be a team decision. 
• If Art & Craft will make people think we mean something other than Arts & 
Crafts, we should leave well enough alone.   
• I like combining State Fair and County Fair into one item, County Fair/State 
Fair.     

Silber & Associates                                                  4                                                 Pre‐Test Report 10/14/08                                  

If more than one response to Q1: 
Q1a.  Now please choose the one best description of your festival. 
o Anniversary or Commemorative
o Arts and Crafts
o Bazaar
o Carnival
o Charity Event
o Community Networking
o County Fair
o Film
o Food Festival
o Historical Theme (e.g., Renaissance)
o International
o Literary
o Mardi Gras
o Mummers Festival
o Performing Arts
o Racial/Ethnic Heritage
o Religious
o State Fair
o “Other” response from above question
 
Feedback:   
Beth from Reno Artown said her festival is multidisciplinary and defies a best 
description.  She said she would have marked “other.” This is a problem because it 
confuses “other” (which should mean the specific event type she added to the list in 
the previous question) with what she really meant, which was an “other response” 
to this particular question (multidisciplinary). 
 
Recommended Action:   
I can discuss with my programmer whether we can pipe into the list the 
specific “other” that was given in Q1 rather than what currently appears, but still, 
what would Beth do?  Skip the question? 

Silber & Associates                                                  5                                                 Pre‐Test Report 10/14/08                                  

Q2.  For how many years has your organization been in charge of the [specific 
festival] in [specific town/city name]? 
o This is the first time.  Selection of this answer will change wording in some 
subsequent questions.  For now I simply altered questions to say “If the festival is 
being held for the first time. . .” 
o 1 year 
o 2‐4 years 
o 5‐9 years 
o 10‐ 20 years 
o More than 20 years 
o Don’t know 
 
Feedback:   
Instead of “been in charge,” consensus was to change wording to “presented” 
or “produced.” 
 
Recommended Action:   
Change to “produced.” 
 

Silber & Associates                                                  6                                                 Pre‐Test Report 10/14/08                                  

Q4. During the most recent season, in what venue(s) was the festival held?  If the 
festival is being held for the first time, answer based on your plans.  Check all that 
apply. 
  Community center 
  Concert hall or theater 
  Municipal fairgrounds 
  Museum or gallery 
  Open‐air park 
  Outdoor theater 
  Place of worship 
  Private estate grounds 
  Public building or estate 
  Public plaza 
  Restaurant or club 
  School or college 
  Street 
  Waterfront or pier 
  Other: ___________________________________ 
 
Feedback:   
• Pre‐testers suggested we add sports venue and performing arts center to 
the list.   
• Two people thought we should change public plaza to “public plaza or 
park” and drop open‐air park.   
• Someone said to drop “estate” from private estate grounds to encompass 
venues such as camps.   
• Beth (Reno Artown) said her festival uses hotels and casinos and would 
have chosen “other.”    
 
Recommended Action:   
• Add sports venue, performing arts center, and hotel to the list. 
• Take the suggestion about “public plaza or park.” 
• Change private estate grounds to “private grounds, such as an estate or 
camp.” 

Silber & Associates                                                  7                                                 Pre‐Test Report 10/14/08                                  

Q6. What is the festival cycle?  In other words, how often does it occur in [specific 
town/city name] or vicinity? 
o Once a year   
o Twice a year 
o Every other year   
o Once every few years  
o This is the first time it’s being held here. 
o No definite schedule 
o Other schedule: _________________________________ 
 
 
Q7. What is the duration of the festival (the total number of days)?  If the festival 
is being held for the first time, answer how many days it’s scheduled to last.  
o  1 day 
o  2‐3 days 
o  4‐7 days 
o  8‐15 days 
o  16‐30 days 
o  31‐90 days  
o  91‐180 days  
o  More than 180 days 
 
Feedback:   
Dennis (Shenandoah Valley Music Festival) said he needed to read Q7 about 
duration to understand, by exclusion, what we were getting at in Q6.    
 
Linda (Yerba Buena) was confused whether Q7 referred to the number of 
days of programmed festival activities, or to the duration on the calendar from 
festival start date to end date.  Yerba Buena, for instance, runs from May through 
October, but only on Thursday through Sunday.  She answered the number of 
programmed days.  
 
Recommended Action:   
• Reverse order of Q6 and Q7. 
• Team needs to make a decision about whether we’re interested in the 
number of days of programmed festival activities or the duration on the 
calendar, and then we need to clarify the question. 

Silber & Associates                                                  8                                                 Pre‐Test Report 10/14/08                                  

Q10. Is [specific community, city, or town] best considered a rural, urban, or 
suburban area? 
o Rural 
o Urban 
o Suburban 
o Don’t know 
 
 
Feedback:   
Rick (Central PA Festival of the Arts) said he didn’t know what to mark for 
State College.  Kim Plyler (Arts Quest, in Bethlehem, PA) agreed. 
 
Recommended Action:   
 
Drop this question and match zip code to Census categories.  We currently 
collect zip code where the festival is held.  It’s one of the preliminary items in the 
survey. 
 
 
Q11. What kinds of events make up the festival?  For multidisciplinary festivals, 
check all that apply. 
 Dance 
 
 Film 
 Folk and traditional arts 
 Literary (for example: spoken word, poetry, etc.) 
 
 Music 
 Theater
 
 Visual arts 
 Other: _________________________ 
 
Feedback:   
Pre‐testers suggested many of the same additions they made for Q1, plus 
some new things too.    They’d like to see us add Educational, Children/Family, 
Outdoor Adventure, Performance Art, Workshops, Arts and Crafts, and Parades.  
Rick (Central PA) also suggested “scab shows,” events that are unrelated to the 
festival but occur nearby as a result of free publicity from the festival. 
 
Recommended Action:   
 
The team is in the best position to decide what to add, but my feeling is that 
it’s best to make our list as comprehensive as possible.  Otherwise, people will write 
in these things under “other,” and this will impact data analysis.  (Scab show isn’t 
appropriate here because it’s not part of a festival per se.) 

Silber & Associates                                                  9                                                 Pre‐Test Report 10/14/08                                  

Q12. What proportion of the festival is made up of each the following events?  
Approximations are fine, but the percentages should total 100%. 
Music 
_____% 
 
Film 
_____% 
 
Literature _____% 
TOTAL    100% 
 
 
Feedback:   
At least one person didn’t understand that music, film, and literature were 
examples only.  Notwithstanding the confusion, I got some valuable feedback.  Rick 
(Central PA) and Jennifer (Lake Eden Arts Festival) admitted that, in their words, 
they “had to wing it” to answer.  Beth (Reno) agreed that the question was difficult 
to answer but added that “it’s worth it.”  On the other hand, Linda (Yerba Buena) 
said this question wasn’t a problem for her.   
 
The more items the respondents check in Q11, the more difficult Q12 is to 
answer, and most respondents marked over half the event types.   
 
Heather (Ordway) mentioned that some festivals vary from week to week, 
and she wasn’t sure whether to answer for the festival’s most recent week or the 
entire season.     
 
Recommended Action:   
• We can keep the question and see what we get, or we can drop the 
mathematical requirement in the question and ask simply for the top 3 or 4 
events that make up the festival.  (This is something we bounced around 
earlier.) 
• I think it’s ok to disregard Heather’s comment, as she was only the one to 
mention this.  If anything, we should remind the respondent that we’re 
referring to the festival’s most recent season.    
 
 

Silber & Associates                                                  10                                                 Pre‐Test Report 10/14/08                               

Checklists A‐G (breakdowns of events): 
 
What is the main type of XXX at the festival?  Please choose no more than 4 
answers.  
 
Feedback:   
Pre‐testers objected to the limitation to 4 answers.  All of them said the 
restriction was a problem and affected the quality of their answer.  
 
Recommended Action:   
 
Remove the restriction from checklists A‐G.  Change the instructions to 
“Choose all that apply.” 
 
A. What is the main type of music performed at the festival?  Please choose no 
more than 4 answers.   
 Bluegrass 
 Blues  
 Broadway Musicals or Show Tunes 
 Classical or Chamber Music, Symphonic/Orchestral 
 Concert Band or Marching Band  
 Contemporary or Alternative Rock 
 Country 
 Folk/Traditional  
 Hymns or Gospel Music 
 Jazz 
 Latin, Spanish, or Salsa  
 Lounge, DJ, Electronica 
 Opera 
 Rap or Hip‐Hop 
 Rhythm and Blues 
 Rock and Pop music (includes Classic Rock or Oldies and Contemporary or   
       Alternative Rock) 
 World 
 Other: ______________________________ 
 
 
Feedback:   
Kim (ArtsQuest) suggested we add polka.  

Silber & Associates                                                  11                                                 Pre‐Test Report 10/14/08                               

C. What is the main type of literature event at the festival?  Please choose no 
more than 3 answers.  
Children's literature
 Fiction  
 Non‐Fiction  
Poetry (including poetry "slams" and spoken-word)
 Publishing 
 Translation  
 Other: ______________________________ 

 
Feedback:  Linda (Yerba Buena) suggested we add Book Festival.   
  
D. What is the main type of folk and traditional arts event at the festival?  
Please choose no more than 3 answers.  
 Crafts and visual arts 
 Dance 
 Ethnic 
 Music 
 Oral traditions (storytelling) 
 Foodways 
 Other: ______________________________ 
 
Feedback:   
• Several people asked what we meant by Ethnic.  
• Confusion over what Foodways means. 
• Heather (Ordway) suggested adding Puppetry and Theater (two separate 
things). 
   

Silber & Associates                                                  12                                                 Pre‐Test Report 10/14/08                               

E. What is the main type of theater event at the festival?  Please choose no more 
than 3 answers.  
 Child audiences 
 Historical themes 
 Mime 
 Musical theater 
 New work 
 One‐act plays 
 Plays by the same author 
 Playwright contests 
 Puppetry 
 Shakespeare 
 Workshops or play readings 
 Other: ______________________________ 
 
Feedback:  Heather (Ordway) suggested adding International. 
  
 
F. What is the main type of visual arts on display at the festival?  Please choose 
no more than 3 answers.  
 Ceramics 
 Crafts (miscellaneous) 
 Drawings 
 Digital media 
 Glass 
 Metalwork 
 Paintings 
 Photography 
 Printmakings 
 Sculptures 
 Textiles 
 Other: ______________________________ 
 
Feedback:  Jennifer (Lake Eden) said to add “Visual Arts for Sale” since her festival 
doesn’t display; it only sells.  Heather (Ordway) recommended changing “on 
display” to “exhibited.”  Rick thought we should add a question to ask whether the 
visual arts are juried or not. 

Silber & Associates                                                  13                                                 Pre‐Test Report 10/14/08                               

 
 
G.  What is the main type of dance event at the festival?  Please choose no more 
than 2 answers.  
 Ballet 
 Jazz Dance 
 Modern Dance 
 World/Ethnic Dance 
 Other: ______________________________ 

 
Feedback:  Add hip‐hop.  Heather (Ordway) disliked the category Ethnic Dance and 
said it should be changed to Traditional/Folk/Culturally Specific.  She also 
suggested adding Folkloric.  Beth (Reno) suggested adding Contemporary, which 
she said is different from Modern. 
 

Silber & Associates                                                  14                                                 Pre‐Test Report 10/14/08                               

Q14. Which age group makes up the largest group of festival attendees?  Please 
choose only one answer.  If that’s not possible, choose no more than 4 answers. 
 0‐6 years 
 7‐12 years 
 13‐17 years 
 18‐24 years 
 25‐34 years 
 35‐55 years 
 56‐64 years 
 65 years and over  
 
Feedback:  Dennis (Shenandoah) and Rick (Central PA) had to guess‐‐‐the 
information isn’t on record‐‐‐so Dennis suggested we say that estimates are fine.  
Linda (Yerba Buena) said she’d need more than 4 response choices.      
  
Recommended Action:    
• Add this instruction:  “If precise information isn’t available, please estimate.”   
• Discuss as a team, once again, whether we should restrict respondents to 4 
answers.  Typically, with these instructions my programmer would devise an 
error message to appear if the respondent exceeded 4 answers. One 
alternative is to leave the instructions but allow >4 answers (no error 
message).  Just a thought. 
 
 
 
Q15. Please estimate the racial or ethnic make‐up of your festival audience.   
(Computer will make sure answers add up to 100%.) 
_____ %  American Indian or Alaska Native 
_____ %  Asian  
_____ %  Black or African American 
_____ %  Native Hawaiian or other Pacific Islander 
_____ %  White 
_____ %  Latino or Hispanic 
 Don’t know (if this is chosen, respondent can’t mark other choices) 
 
Feedback:  Again, Rick and Dennis needed to guess, which they opted to do instead 
of marking DK since both had a good feel for the data.  Linda suggested we add 
multi‐racial as a category.   
  
Recommended Action:  Add “Multi‐Racial (more than one race)” to the list.   
 
 

Silber & Associates                                                  15                                                 Pre‐Test Report 10/14/08                               

 
 
Q18. Approximately how many artists perform at the festival?  This includes 
anyone who is performing or displaying at the festival.  If the festival is held over 
non‐consecutive days, such as every Sunday in the summer, give the combined 
number of artists who perform during the season.  For a group performance, 
such as a symphony, count each artist in the group.  A symphony, for instance, 
might include 40 artists. 
o 1‐24 
o 25‐49 
o 50‐74 
o 75‐99 
o 100‐249 
o 250‐399 
o 400‐600 
o Over 600 
o Don’t know 
 
 
Feedback:  Suggested that we change the word “perform” to “perform or exhibit” to 
take into account visual artists.  Dennis (Shenandoah) asked how to handle multiple 
appearances by the same artist.  
  
Recommended Action:  Change the wording as recommended.  The team needs to 
decide how to count multiple appearances, and then I need to clarify the 
instructions. 
 

Silber & Associates                                                  16                                                 Pre‐Test Report 10/14/08                               

Q19. Over the course of the festival, how many scheduled performances take 
place, in total?  Include performances such as concerts, plays, and dance 
performances but do not include unscheduled performances.  Count a double­bill 
as two performances. 
o 1‐9 
o 10‐19 
o 20‐29 
o 30‐39 
o 40‐49 
o 50‐100 
o Over 100 
o Don’t know 
   
Feedback:  Several people pointed out that this question doesn’t apply to festivals 
whose only focus is visual arts. 
  
Recommended Action:   If the team agrees, I can make this question contingent on 
answers to Q11 (What kinds of events make up the festival?).  If a respondent marks 
Visual Arts and nothing else, we can suppress Q19.  
 
 

Silber & Associates                                                  17                                                 Pre‐Test Report 10/14/08                               

Q20. Please indicate the approximate total number of paid and volunteer staff who 
work on the festival.  This includes off­season and on­season workers (i.e., all staff, 
including administrative staff, festival production staff, marketing and advertising 
personnel, and ticket takers).   
Number of paid staff ______ 
Number of volunteer staff ______ 
o Don’t know 
 
Q21. How many of these staff are off­season workers (i.e., year‐round administrative 
staff )? 
Number of paid off‐season staff ______ 
Number of volunteer off‐season staff ______ 
o Don’t know 
 
Feedback:  These questions generated a lot of discussion and, apparently, confusion.   
• How do you count contractors and other outsource staff? 
• How do you count consultants? 
• Jennifer (Lake Eden) said the word “staff” caused some unease because she 
wouldn’t want auditors questioning why she reported more/less staff in our 
survey than she reported in official records. 
• Do we mean FTEs? 
• What about artists who volunteer their time? 
• Jennifer said she has two types of volunteers: true volunteer staff, and a pool 
of volunteers, who I inferred pitch in for an event here or there.  She wasn’t 
sure how to count them.     
  
Recommended Action:  I need help from the team sorting this out.     
 
 

Silber & Associates                                                  18                                                 Pre‐Test Report 10/14/08                               

Q22. Does the festival have a dedicated artistic staff, staff person, or volunteer 
whose primary role is arts curator or arts event programmer? This can be full‐
time or part‐time staff. 
o Yes 
o No 
o Don’t know 
 
Feedback:  This question doesn’t work as smoothly as we hoped, as demonstrated 
by Linda (Yerba Buena) and Dennis (Shenandoah), who gave two different answers 
to the same scenario.  Both Linda and Dennis fill the role of arts event programmer 
in their organizations.  Linda answered “yes” to Q22; Dennis answered “no” on the 
grounds that the question says “dedicated” artistic staff.   
  
Recommended Action:   Decide which answer is appropriate and clarify the 
instructions.  

Silber & Associates                                                  19                                                 Pre‐Test Report 10/14/08                               

23.   Let’s say a 40‐year‐old adult wishes to buy a ticket to the festival.  Does the 
ticket price depend on certain factors, such as the specific events or the 
number of days he or she plans to attend, the particular day(s), or whether 
the ticket is purchased in advance?  If the festival is being held for the first 
time, answer based on your plans. 
o Yes.  The admission fee depends on certain factors such as specific event or 
schedule.   
o No.  The admission fee does not vary.    
o Other: _________________________ 
 
 
Feedback:   
• Several people said their festival is free and therefore they didn’t know how 
to answer.   
• Dennis (Shenandoah) said “40‐year‐old adult” was off‐putting.  [I explained 
that the age context was to eliminate certain questions, such as whether the 
person qualified for a senior discount, a student discount, etc.]    
  
Recommended Action:  
• Change response options to:  
o Admission is free. 
o Admission is not free but it’s fixed and does not vary by event, day, etc. 
o Admission is not free and it depends on certain factors such as specific 
event or schedule.   
o Other: _________________________ 
 
• Change intro to “Let’s say an adult (not a senior citizen) wishes to buy. . .” 

Silber & Associates                                                  20                                                 Pre‐Test Report 10/14/08                               

#3.  Does your organization have a formal program in place to distribute free 
tickets or sell tickets at a reduced price? 
o Yes    
o No    
o Don’t know    
 
Feedback:  Dennis (Shenandoah) pointed out that his organization sells group 
tickets at a reduced rate.     
  
Recommended Action:  Change to “Does your organization have a formal program in 
place to help those in need by distributing free tickets or selling tickets at a reduced 
price?” 
  
 
 
 
Q24. When the festival was held most recently, approximately how much revenue 
did it generate?  Do not include in‐kind donations. 
o Less than $10,000 
o $10,000 ‐ $24,999 
o $25,000 ‐ $49,999 
o $50,000 ‐ $99,999 
o $100,000 ‐ $249,999 
o $250,000 ‐ $499,999 
o $500,000 ‐ $999,999 
o $1,000,000 ‐ $1,999,999 
o $2,000,000 ‐ $5,999,999 
o $6,000,000 ‐ $10,000,000 
o Over $10,000,000 
o Don’t know 
 
Feedback:  Some confusion over whether this included all sources of revenue or just 
tickets sales (I guess because it follows a question about ticket prices).   
  
Recommended Action:   
Change instructions to:   Include all sources of revenue but do not include in‐kind 
donations.   

Silber & Associates                                                  21                                                 Pre‐Test Report 10/14/08                               

Q25. Please identify the sources of festival revenue.  Check all that apply. 
  Admission fee or event ticket sales 
  Sale of food, drinks, merchandise, and parking 
  Parking fees  
  Vendors paying a participant fee 
  Cash donations collected at event 
  Corporate sponsors 
  Income from advertisers 
  Foundations 
  Private donors and patrons 
  University sponsor 
  Unearned income, such as interest on investments and endowments   
  Governmental support (municipal, state, or federal) 
  Other: ________________________________ 
 
Feedback:   
• Parking is listed twice by mistake.  
• Rick (Central PA) suggested we put sale of beer and alcohol into a separate 
category. 
 
Recommended Action:  Make these changes. 
 
 

Silber & Associates                                                  22                                                 Pre‐Test Report 10/14/08                               

Q27. When the festival was held most recently, approximately what were the total 
expenses? 
o Less than $10,000 
o $10,000 ‐ $49,999 
o $50,000 ‐ $99,999 
o $100,000 ‐ $249,999 
o $250,000 ‐ $499,999 
o $500,000 ‐ $999,999 
o $1,000,000 ‐ $1,999,999 
o $2,000,000 ‐ $5,000,000 
o Over $5,000,000 
o Don’t know 
   
Feedback:  Jennifer (Lake Eden) said her festival is held twice a year and she wasn’t 
sure whether to count one or both.  This would also apply to Q24 although she 
didn’t mention it.   
  
Recommended Action:  All the questions are set up to ask about the festival’s most 
recent season, so in my view the respondent should count only the most recent 
festival, regardless of how many times the festival is held.  If you agree, then I’ll add 
a reminder to base answers on the most recent festival.  
 

Silber & Associates                                                  23                                                 Pre‐Test Report 10/14/08                               

Q28. When the festival was held most recently, approximately what were the artist 
fees for all artists combined?  Exclude in‐kind payments in your estimate. 
o Artists were not paid.  
o Under $10,000 
o $10,000‐$29,999 
o $30,000 ‐ $49,999 
o $50,000 ‐ $74,999 
o $75,000 ‐ $99,999 
o $100,000‐$249,999 
o $250,000‐$500,000 
o Over $500,000 
o Don’t know 
 
Feedback: Rick (Central PA) says that with a visual arts festival, artist fees are 
income, not expenses.  Dennis (Shenandoah) said this question leans toward the 
performing arts, although he could still answer it.   
  
Recommended Action:  Do we want to make this a contingency question, asked only 
of respondents whose festival is primarily performing arts?   
 
 

Silber & Associates                                                  24                                                 Pre‐Test Report 10/14/08                               

Q29. When the festival was held most recently, approximately what was the total 
value of in­kind payments to all artists (such as lodging, food, and travel)? 
o Artists did not receive any in‐kind payments. 
o Under $10,000 
o $10,000‐$29,999 
o $30,000 ‐ $49,999 
o $50,000 ‐ $74,999 
o $75,000 ‐ $99,999 
o $100,000‐$249,999 
o $250,000‐$500,000 
o Over $500,000 
o Don’t know 
 
Feedback:  Several people said this question isn’t clear and it’s also hard to answer.  
For one, they didn’t like the term “in‐kind payments.”  No one was able to answer 
this question with ease, since either they didn’t understand it or the information 
wasn’t readily available.   
  
Recommended Action:  If this question is important to keep, we need to somehow 
revise the language.  A possible revision is to break it into two parts and eliminate 
the confusing terminology:  When the festival was held most recently, did the 
festival provide lodging, food, or travel to any artists free of charge?  If yes, what was 
the approximate value?    

Silber & Associates                                                  25                                                 Pre‐Test Report 10/14/08                               

Q30. From which of the following sources, if any, does your festival receive funds?  
Check all that apply. 
 None.  The festival has not received any sponsorship money or donations. 
 Corporate Sponsorship 
 Foundations 
 Local or Municipal Government 
 State Government 
 Regional Funders 
 Federal Government 
 
Feedback:  A few questioned the time frame we had in mind.   
  
Recommended Action:    
Change question to:  During your most recent fiscal year, from which of the 
following sources, if any, did your festival receive funds?   
 
 

Silber & Associates                                                  26                                                 Pre‐Test Report 10/14/08                               

Q31. If your festival receives in­kind donations, what kind(s) do you receive?  
Check all that apply. 
  None.  The festival has not received any in‐kind donations.   (If this box is 
checked, respondent can’t check other answers in the list) 
  Venue 
  Food 
  Hotel  
  Airfare 
  Transportation 
  Printing 
  Marketing/Advertisements 
  Production support 
  Security 
  Other: _____________________________ 
 
 
 
Feedback:  People suggested these additions: 
• Information technology services, such as website development 
• Photography/documentation 
• Office equipment 
• Flowers/hospitality items 
• Landscaping   
  
Recommended Action:   
• To make this question consistent with the preceding one, I think we should 
change it to:  If your festival received in­kind donations during the most 
recent fiscal year, what kind(s) did you receive? 
• Add suggestions to list of response choices.   
 

Silber & Associates                                                  27                                                 Pre‐Test Report 10/14/08                               

Q33. What is the total size of the organization?  Include all parts of the 
organization, not just the office or division in charge of the festival.   
o 5 employees or less 
o 6‐9 employees 
o 10‐ 29 employees 
o 30 ‐ 49 employees 
o 50 ‐ 100 employees 
o Over 100 employees 
o Don’t know 
 
Feedback:  This question raised questions: 
• Include volunteer staff? 
• Include only year‐round employees? 
• Contract staff?  
  
Recommended Action:   
Revise question to:  How many FTEs (full‐time equivalents) does your organization 
employ?  [Most companies will base this on their most recent payroll.]   
 
 
 
Q34. In a few words, please tell us about the reason the festival was founded or 
your organization’s purpose for holding the festival.  For instance, the purpose 
might be to share a particular style of music with audiences, to raise funds for a 
specific cause, or to improve cultural understanding or community relations.  Please 
do not provide your name or the name of your festival in your comment unless you 
want to be identified. 
 
Feedback:   I asked what kind of comments people made and nearly everyone said 
they put their festival’s mission statement here.   
  
Recommended Action:  If we want more than a list of official mission statements, we 
need to revise the prompt.  Do you want 2 open‐ended questions, one about the 
mission statement and one about something else?  Or do you want to ask people to 
put into their own words the purpose of the festival, and specifically advise against 
copying/pasting the mission statement? 
 

Silber & Associates                                                  28                                                 Pre‐Test Report 10/14/08                               


File Typeapplication/pdf
AuthorBohne Silber
File Modified2009-04-09
File Created2009-04-09

© 2024 OMB.report | Privacy Policy