STEM Faculty Survey

Appendix E
STEM Faculty Crosswalk
and Survey

Crosswalk of STEM Faculty Survey Items to Research Questions and Uses in Analysis

A. Respondent Characteristics
Number of years the respondent has held faculty position at IHE
Academic position during recently completed academic year
Tenure Status
Content area/discipline of department
Respondent's principal activity at IHE
B. Respondent's Relationship with the Noyce Program
Respondent's familiarity with the Noyce program
C. Teacher Preparation Activities of Respondent and Department
Was math or science education a designated career track or major in respodent's  department?
Number of years the respondent had responsibilities for preparing K‐12 STEM teachers
How respondent prepared students to become K‐12 STEM teachers during last academic year
How respondent prepared students to become K‐12 STEM teachers before Noyce
Proportion of other faculty members in respondent's department were involved in preparing students to 
become K‐12 STEM teachers
D. Respondent's Involvement with Noyce
Noyce‐related activities in which the respondent participated during last academic year
Noyce‐related activities in which other faculty members in respondent's department participated during last 
academic year
E. Respondent's Perceived Impact of The Noyce Award
Changes to respondent's teaching style or courses resulting from participation in or exposure to Noyce
Perceived changes in IHE resulting from participation in Noyce
Other perceived changes in respondent's teaching, the students, or the institution resulting from receipt of 
Noyce funding.

1

Research Questions Answered by STEM Faculty Survey
RQ1b
What strategies do Noyce awardees use to recruit and select Noyce candidates? 
What activities do teacher preparation programs that have Noyce awards use to support Noyce 
RQ1d
completers once they are teaching?
What effects do PIs and STEM faculty believe the Noyce award has had on recruitment of STEM 
teachers, in terms of quantity, quality, and diversity, the retention of those teachers?  How do 
RQ2a
they perceive the burdens imposed by the Noyce award?
What are STEM departmental/faculty responsibilities for preparing K‐12 mathematics and science 
teachers? What are STEM faculty/departments perceptions of the effects of the Noyce award on 
RQ2d
their departments?

2

Analysis Notes

Analysis2

RQ 2d

RQ 2a 

RQ 1d

Survey Item

RQ 1b

Research Questions1

A,M
A,M
M
M
M
A,M

•

•

M
A,M
A,D,M
M
M

•

•

•

A,D,M

•

•

•

A,D,M

•

A,D

•

D,M

•

M

STEM Faculty Survey Items
Dear [Respondent Name], 

As a STEM Faculty member at a college or university participating in the Robert Noyce Teacher 
Scholarship Program, you are invited to participate in a short survey about your experiences. 

This survey is being conducted by Abt Associates Inc., an independent social research firm, for 
the National Science Foundation (NSF) to gain a better understanding of how institutions of 
higher education are implementing activities associated with Noyce awards, and how the 
program as a whole is attracting and retaining science and math teachers.  It is part of a 
comprehensive evaluation, the results of which will be used to make recommendations 
regarding the Noyce Program.   

OMB Clearance Number: XXXX‐XXXX 

Expiration Date: XX/XX/XXXX

Burden Disclosure Statement 
According to the Paperwork Reduction Act of 1995, no persons are required to respond 
to a collection of information unless it displays a valid OMB control number. The valid 
OMB control number for this collection is XXXX‐XXXX.  Public reporting burden for this 
collection of information is estimated to average 30 minutes, including the time for 
reviewing instructions, searching existing data sources, gathering and maintaining the 
data needed, and completing and reviewing the collection of information. 

Confidentiality and Participation 
Participation in the survey is voluntary, and nonparticipation will have no impact on you or your 
institution.  All information that would permit identification of an individual respondent will be 
held in strict confidence, will be used by only persons engaged in and for the purpose of the 
survey, and will not be disclosed or released to others for any purpose except as required by 
law.  Reports will never identify you by name, and information from the study will only be 
reported in the aggregate at the program level, combined with about 400 other responses.  
Survey data files will be shared with NSF at the end of the study, only after study team 
members have examined the data to be free of any information that could help identify you; 
your frank and open responses will help NSF make changes to improve the program to make it 
more effective.  Hence, we encourage you to respond candidly about your experiences.   

If you have questions about the study, please contact us at [email protected].   You 
may also contact Joan Prival, the Lead Program Director of the Robert Noyce Teacher 
Scholarship Program, by e‐mailing  [email protected], or Connie Kubo Della‐Piana, the Program 
Evaluation Officer at the Division of Undergraduate Education within the National Science 
Foundation, by e‐mailing [email protected].  

STEM Faculty Survey 

1 

Completing the Survey 
[Programming instruction: Insert text from “Completing the Survey.doc”] 

Consent 
If you agree to participate in this study, please press “Next” to continue with the survey. 

Programming Instructions:










The text that is highlighted in yellow needs to be replaced.
Programming instructions are indicated in blue text.  
Terms that require pop‐up definitions are highlighted in blue.  See Glossary document for 
full list of definitions.
A text box should appear whenever a respondent selects a response option with the text 
“Other (Please specify)”, “Other (Explain)” or something similar. 
Unless otherwise indicated, only one response is allowed per question. 
For questions that allow multiple responses, if “Don’t Know” or “Not Applicable” is 
checked, no other option may be selected.   
If response list includes “None of the above,” only allow this to be checked if all the other 
items are unchecked. 
We will send you a Glossary and FAQ document separately. 

STEM Faculty Survey 

2 

A. Respondent Characteristics
First, we are going to ask you a few questions about your faculty position at [IHE] and the types 
of activities you participated in during the most recently completed academic year (2009‐
2010).  

A1.   Up to and including the most recently completed academic year (2009‐2010), for how 
many years have you held a faculty position at [IHE]?   
I have been a faculty member here for a total of: [dropdown menu] 
 Less than 1 year (2010‐2011 is my 1st year as a faculty member at this institution) 
 1 year (2009‐2010 was my 1st year as a faculty member at this institution) 
 2 years  
 3 years  
 4 years 
 [Programming Instruction: List individual years through 20] 
 Over 20 years 

96   N/A: I was not in a faculty position during academic year 2009‐2010. 

[Programming Instructions:  This is a required question. If “less than 1 year” or “N/A: Not in a faculty position” is 
selected, go to the end of the survey and display the following “Thank You Script”: For this survey we are 
interested in surveying STEM Faculty who were teaching at [IHE] during academic year 2009‐2010.  We must have 
received your name in error.  We apologize.  Thank you for your time.” Survey Status = Ineligible Respondent.] 

A2.   What was your academic position at [IHE] during the most recently completed academic 
year (2009‐2010)?  (Please check one) 
1 
2 
3 
4 
5 
95 
96 

Full Professor 
Associate Professor 
Assistant Professor 
Instructor  
Lecturer 
Other faculty position (Please specify) 
Non‐faculty position (Please specify) 

[Programming Instructions: This is a required question. If respondent’s only position is “a non‐faculty position,” go 
to the end of the survey and display the following “Thank You Script”: For this survey we are interested in 
surveying STEM Faculty who were teaching at [IHE] during academic year 2009‐2010.  We must have received your 
name in error.  We apologize.  Thank you for your time.”  Survey Status = Ineligible Respondent.] 

STEM Faculty Survey 

3 

A3.  What was your tenure status during the 2009‐2010 academic year?  
1 
2 
3 
4 

Tenured 
Tenure‐track, not tenured 
Not in a tenure‐track position, but institution had a tenure system 
Institution did not have a tenure system 

A4.   Which of the following disciplines listed below were most closely aligned with the content 
area of your department during the 2009‐2010 academic year?  (Select all that apply) 
1 
2 
3 
4 
5 
6 
7 
8 
9 
95 
96 

Biological sciences 
Chemistry 
Computer science 
Engineering 
Geosciences/environmental sciences 
Mathematics 
Physics 
K‐12 mathematics education 
K‐12 science education 
Other STEM discipline (Please specify) 
Non‐STEM discipline (Please specify) 

[Programming Instructions:  A4 is a required question.  If recipient selected “Other STEM discipline” or “Non‐
Stem discipline” but does not provide a text response, display a soft prompt that asked them to specify the 
discipline.   If respondent only chooses “Non‐STEM discipline”, go to the end of the survey and display the 
following “Thank You Script”: For this survey we are interested in surveying faculty who were teaching in a 
Science, Technology, Engineering and/or Mathematics (STEM) field during academic year 2009‐2010.  We 
must have received your name in error.  We apologize.  Thank you for your time.”. Survey Status = Ineligible 
Respondent.] 

A5.   What was your principal activity at [IHE] during the 2009‐2010 academic year?  (Please 
check one) 

If you had equal responsibilities among activities, please select one.
1 
2 
3 
4 

Teaching 
Research 
Administration (e.g., Dean, Chair, Director etc.) 
Other (Please specify) 

STEM Faculty Survey 

4 

B. Respondent’s Involvement in the Noyce Program
B1.   The National Science Foundation’s Robert Noyce Teacher Scholarship Program awards 
grants to teacher preparation programs in higher educational institutions to provide 
scholarships and stipends to recruit and prepare talented Science, Technology, 
Engineering and Mathematics (STEM) professionals and students who commit to teaching 
in K‐12 settings, particularly in high‐need districts.   

How familiar are you with the Noyce Program? 

1  I have never heard of it 
2  I am aware of it, but I know little about it 
3  I am familiar with the Noyce Program, but I have not been involved with any 
activities associated with the award in our institution 
4  I used to be involved with activities associated with the Noyce award in our 
institution, but I was not involved in it during the most recently completed academic 
year (2009‐2010) 
5  I was involved with activities associated with the Noyce award in our institution 
during the most recently completed academic year (2009‐2010) 

[Programming Instruction:  This is a required question.  If B1=1 or 2, go to the end of the survey and display 
the following “Thank You Script”: For this survey we are interested in surveying STEM faculty who are 
familiar with the Robert Noyce Teacher Scholarship Program.  Thank you for your time.” Survey Status = 
Ineligible Respondent.] 

STEM Faculty Survey 

5 

C. Teacher Preparation Activities of Respondent and Department
Questions in this section ask about your department within [IHE] and academic activities during 
the most recently completed academic year (2009‐2010). 

C1.   Was mathematics or science education a designated career track or major in your 
department during the 2009‐2010 academic year? 
Yes  
0  No 
98  Don’t Know 
1 

C2.  Have you ever had responsibilities for preparing students to become K‐12 STEM teachers?  

1  Yes  
0  No [SKIP to C3] 
98  Don’t Know [SKIP to C3] 

Note: This includes teaching courses on K‐12 STEM teaching; mentoring or supervising 
students in the teacher preparation program; advising the teacher preparation program 
on STEM‐related issues; and helping to place graduates into K‐12 STEM teaching positions. 

C2a.  Excluding the current 2010‐2011 academic year, for approximately how many years have 
you had responsibilities for preparing students to become K‐12 STEM teachers?  

I have prepared K‐12 STEM teachers for a total of: [dropdown menu]  
 1 year (2009‐2010 was my 1st year with this responsibility) 
 2 years 
 3 years 
 [Programming Instruction: List individual years through 30] 
 Over 30 years 

96 

I did not have responsibilities for preparing students to become K‐12 STEM teachers prior to 
academic year 2010‐2011. 

STEM Faculty Survey 

6 

C3.   Please check all of the activities below that you participated in during the most recently 
completed academic year (2009‐2010) at [IHE].  (Select all that apply) 
1  I discussed the possibility of being a K‐12 STEM teacher with students 
2  I taught a course designed specifically for students majoring in STEM disciplines 
preparing to be K‐12 educators 
3  I helped find K‐12 STEM teaching positions for former students 
4  I supervised, advised, or mentored future K‐12 STEM teachers during their teaching 
practicum, field experiences, or first years of teaching 
5  I advised or consulted with the teacher preparation program on issues related to 
teaching STEM disciplines in K‐12 schools 
95  Other (Please specify) [Programming note: if R chooses “other,” ask R to list up to 3 other activities 
and allow R to provide a response for each.]   
96  I did not participate in any of these activities 

[Programming Instructions: 
If no box is selected for C3, display the following soft prompt: “Please select any activities listed below that 
you participated in during the 2009‐2010 academic year.  If you participated in any other activities that help 
prepare K‐12 STEM teachers, please select “Other” and explain.  Please do not leave this question blank.  If, 
during the 2009‐2010 academic year, you did not participate in any activities that may have helped prepare 
students to become K‐12 STEM teachers, select “I did not participate in any of these activities.”   
If “I did not participate in any of these activities” is selected, or C3=Missing, SKIP to C5. 
If “I did not participate in any of these activities” is selected, no other response may be selected.] 

C4.   You mentioned that you participated in the following activities during the 2009‐2010 
academic year.  Which of these activities did you participate in before the Noyce award 
was received at [IHE]? 
[Programming Instruction: Limit response list to those that were selected under C3.] 
Before the Noyce award was received in our institution …  
a. I discussed the possibility of being a K‐12 STEM teacher with a 
student. 
b. I taught a course designed specifically for students majoring in 
STEM disciplines preparing to be K‐12 educators. 
c. I helped find K‐12 STEM teaching positions for former students. 
d.

e.
f.

I supervised, advised, or mentored future K‐12 STEM teachers 
during their teaching practicum, field experiences, or first years of 
teaching. 
I advised or consulted with the teacher preparation program on 
issues related to teaching STEM disciplines in K‐12 schools.  
[Other Response from C3] 

Yes 

No 

DK 

STEM Faculty Survey 

7 

C5.   In addition to yourself, did any other faculty members in your department (not including 
part‐time or adjunct faculty) have responsibilities for preparing K‐12 STEM teachers 
during the most recently completed academic year (2009‐2010)? 
Note: This includes teaching courses on K‐12 STEM teaching; mentoring or supervising 
students in the teacher preparation program; advising the teacher preparation program 
on STEM‐related issues; and helping to place graduates into K‐12 STEM teaching positions.  
Yes 
0  No [Skip to Section D] 
98  Don’t Know [Skip to Section D] 
1 

[Programming note:  If B1 ≠ 5, this question should simply read “Did any faculty members in your department (not 
including part‐time or adjunct faculty) have responsibilities for preparing K‐12 STEM teachers?”] 

C6.   As far as you know, approximately what proportion of the faculty members in your 
department (not including part‐time or adjunct faculty) were involved with preparing K‐
12 STEM teachers during the most recently completed academic year (2009‐2010)?  
1 
2 
3 
4 
98 

A few (1‐25% of the faculty members in my department were involved) 
Some (26‐50%) 
Most (51‐75%) 
Almost all (76‐100%) 
Don’t Know 

STEM Faculty Survey 

8 

[Programming instruction:  :  If B1  5 and C5 = No, then SKIP to Section E] 

D. Respondent’s Involvement with Noyce 

The following questions concern involvement in activities associated with the Noyce award at 
[IHE] and activities associated with it during the most recently completed academic year (2009‐
2010). 
[Programming Instruction:  If B1  5, SKIP to D2. ] 

D1.   Please check all the Noyce‐related activities below that you participated in during the 
2009‐2010 academic year. (Select all that apply) 

1  I mentioned to a STEM class or a student majoring in a STEM discipline about the 
availability of Noyce support for STEM majors who are interested in getting teacher 
certification 
2  I recommended a student majoring in a STEM discipline for receipt of a Noyce 
scholarship or stipend 
3  I helped decide which applicants would receive Noyce scholarship or stipends (e.g., 
this could include interviewing candidates, reviewing applications, and/or making 
award decisions) 
4  I taught or led a class, seminar, or other educational activity designed specifically for 
Noyce recipients 
5  I mentored Noyce recipient(s) during their first few years of teaching 
6  I helped Noyce recipients find teaching positions 
7  I attended meetings on developing or managing activities associated with the Noyce 
award [Ask D1a] 
8  I was a member of an advisory board or otherwise provided advice or oversight of the 
Noyce award 
95  Other (Please specify) 

[Programming instruction:  If D1 is not answered, display the following: “Earlier you indicated that you were 
involved with activities associated with the Noyce award in your institution during the most recently completed 
academic year (2009‐2010).  Please specify which of the above activities you were involved in.  If you were not 
involved in any of the activities listed, please select “Other” and explain.  Thank you!” Please use the 
“Scholarship/Stipend applicant” definition for “applicants.”] 

STEM Faculty Survey 

9 

[Programming Instruction: If R checks “I attended meetings developing or managing activities associated with the 
Noyce award” for D1, ask D1a.  Otherwise SKIP to D2.]  

D1a.  You selected “I attended meetings on developing or managing activities associated with 
the Noyce award.” 
Which of the following best describes your attendance at Noyce meetings during the 
2009‐2010 academic year?  
1 

I attended only one meeting 

2 

I attended meetings occasionally, but not regularly  

3 

I attended meetings regularly 

STEM Faculty Survey 

10 

[Programming instruction: If C5  Yes, SKIP to section E.] 

D2.   Please check the Noyce‐related activities below that other faculty members in your 
department (besides yourself) participated in during the 2009‐2010 academic year.   
Programming Instruction: If B1  5, use the following wording for this question: 
D2.   Please check the Noyce‐related activities below that faculty members in your department 
participated in during the 2009‐2010 academic year.   

When thinking of “other faculty members,” please exclude part‐time and adjunct faculty. 

a. Making presentations (or allowing presentations to be made) in STEM 

b.
c.
d.

classes introducing students to the Noyce award (i.e., the availability of 
Noyce support for STEM majors who are interested in getting teacher 
certification) 
Recommending students majoring in STEM disciplines to apply for a Noyce 
scholarship 
Participating in deciding which applicants would receive Noyce scholarship 
or stipends (e.g., this could include interviewing candidates, reviewing 
applications, and/or making award decisions) 
Teaching or leading a class, seminar, or other educational activity designed 
specifically for Noyce recipients 
Mentoring a Noyce recipient during their first few years of teaching 

e.
f. Helping Noyce recipients find teaching positions 
g. Attending meetings on developing or managing activities associated with 
the Noyce award 
h. Participating in an advisory board or providing advice or oversight of the 
Noyce award program 
i.

Other (Please specify) 

Yes 

No 

0

0

0

0

1

1

1

1

1 

98

98

98

98

0 

1

0

0

0

0

1

1

1

98 

98

Don’t Know 

STEM Faculty Survey 

98 
98

[Programming instruction: If “Yes” ask D2b. Otherwise, skip to Section E.] 

98

D2a.  In addition to yourself, did any other faculty members in your department (not including 
part‐time or adjunct faculty) participate in Noyce‐related activities during the 2009‐2010 
academic year? 
No 

0 

98

Yes  

 [Programming instruction:  If “Yes” is not selected for at least one response, ask D2a.  Otherwise, skip to 
Section E.  Please use the “Scholarship/Stipend applicant” definition for “applicants.”] 

1 

Don’t 
Know 

11 

[Only ask D2b if D2a=Yes.] 

D2b.    You indicated that other faculty members in your department (beside yourself) 
participated in Noyce‐related activities during the 2009‐2010 academic year.  Please 
indicate which activities they participated in.  If these activities are not listed below, 
please select “other” and describe the activities in your own words.  
When thinking of “other faculty members,” please exclude part‐time and adjunct faculty. 
  a. Making presentations (or allowing presentations to be made) in STEM classes 
introducing students to the Noyce award (i.e., the availability of Noyce support for 
STEM majors who are interested in getting teacher certification) 
  b. Recommending students majoring in STEM disciplines to apply for a Noyce scholarship 
  c. Participating in deciding which applicants would receive Noyce scholarship or stipends 
(e.g., this could include interviewing candidates, reviewing applications, and/or making 
award decisions) 
  d. Teaching or leading a class, seminar, or other educational activity designed specifically 
for Noyce recipients 
  e. Mentoring a Noyce recipient during their first few years of teaching 
  f. Helping Noyce recipients find teaching positions 
  g. Attending meetings on developing or managing activities associated with the Noyce 
award 
  h. Participating in an advisory board or providing advice or oversight of the Noyce 

award program 
  i.

Other (Please specify) 

  j.

I don’t Know 

[Programming instruction: Please use the “Scholarship/Stipend applicant” definition for “applicants.”] 

STEM Faculty Survey 

12 

E. Respondent’s Perceived Impacts of The Noyce Award

The questions in this section ask about your perceptions of the impacts of the Noyce award on 
the STEM teacher preparation program. When answering these questions, please consider all 
the years that [IHE] has received Noyce funding up through the most recently completed 
academic year (2009‐2010). 
E1.   Have you made any changes in your own teaching style or courses that you would 
attribute to your participation in or exposure to activities associated with the Noyce 
award? 
1 
0 

Yes  
No [Skip to E3] 

E2.   What are the most important changes you have made? 

[Programming Instruction: Open‐ended text response] 

STEM Faculty Survey 

13 

E3.   Please review the list below and indicate the extent to which you agree with each 
statement about how [IHE] may have changed as a result of receiving Noyce funding or 
participating in activities associated with the Noyce award.  Again, when answering these 
questions, please consider all of the years that your institution has received Noyce 
funding up through the most recently completed academic year (2009‐2010). 
As a result of receiving Noyce funding or participating in 
activities associated with the Noyce award … 
A greater proportion of STEM teacher certification 
a.   candidates are from STEM undergraduate programs 

Strongly  Don’t 
Agree  Disagree  Disagree Know 

1 

2 

3 

4 

98 

b.

A greater proportion of STEM teacher certification 
candidates are recruited from STEM fields of 
employment 

1 

2 

3 

4 

98 

c.

The diversity of K‐12 STEM teachers trained in our 
  teacher preparation program has increased 

1 

2 

3 

4 

98 

d.

The quality of candidates applying to the teacher 
preparation program has increased 

1 

2 

3 

4 

98 

e.

New K‐12 STEM teachers trained in our institution 
begin teaching with more skills and preparation than 
they did before Noyce funding began 

1 

2 

3 

4 

98 

New K‐12 STEM teachers trained in our institution 
  begin teaching with more STEM knowledge than they 
did before Noyce funding began 

1 

2 

3 

4 

98 

g.

STEM Faculty members are more involved in 
  recruiting STEM K‐12 teaching candidates 

1 

2 

3 

4 

98 

h.

STEM Faculty members are more involved in training 
  STEM K‐12 teachers 

1 

2 

3 

4 

98 

i.

STEM content has strengthened in STEM K‐12 teacher 
certification courses 

1 

2 

3 

4 

98 

j.

Noyce recipients receive more support than most new 
STEM teachers when they begin teaching 

1 

2 

3 

4 

98 

Noyce recipients are more prepared to meet the 
  needs of students in high‐need schools than most new 
STEM teachers 

1 

2 

3 

4 

98 

The number of faculty members in my department 
participating in STEM K‐12 teacher preparation has 
increased 

1 

2 

3 

4 

98 

The number of faculty members in my department 
m.   who have relationships with or who participate in 
activities in K‐12 schools has increased 

1 

2 

3 

4 

98 

1 

2 

3 

4 

98 

f.

k.

l.

n.

Strongly
Agree 

Faculty members in my department have become 
more actively involved in STEM K‐12 teacher 
preparation 

STEM Faculty Survey 

14 

Programming instructions:  If any of the rows for E3 are not answered, display the following soft prompt: “Please 
try to provide a response for each item below.  If you are not sure how to respond for a particular item, please 
select “Don’t Know.”  Thank you!”   

E4.  Are there any other ways that your teaching, the students, or the institution have changed 
as a result of receiving Noyce funding?  If yes, please describe them in the space below.  

[Programming Instruction: The response will be in a text box with space for a large amount of text]. 

Thank you for taking the time to respond to this survey!  Your 
responses will help the National Science Foundation support teacher 
preparation in the future. 
[Programming instruction:  Once R submits responses, send them a thank you e‐mail/confirmation that responses 
have been submitted.] 

STEM Faculty Survey 

15