2019 National Household Education Surveys Program (NHES) Adult Training and Education Survey (ATES) Spanish Language Cognitive Interviews

Attachment 2-3

NHES 2019 ATES Spanish Language Cognitive Interview Recruitment Screener and Protocol

2019 National Household Education Surveys Program (NHES) Adult Training and Education Survey (ATES) Spanish Language Cognitive Interviews

OMB# 1850-0803 v.205

August 2017

National Center for Education Statistics (NCES)

Attachment 2.1

NHES 2019 ATES Spanish Language Cognitive Interviews

Recruitment Screener – English

Hello. My name is [XXXXXX] and I work for American Institutes for Research. The U.S. Department of Education is conducting a brief but important study about adults’ education and work credentials. American Institutes for Research (AIR) is assisting with the research. Your participation is voluntary, and you will receive no sales pitch or follow-up calls based on your participation.

We are looking for adults to help us understand how they interpret survey questions about adults’ education and work credentials. The objective of the current study is to make sure the survey materials are clear and easy to understand, and we need your help to do that. The information gained from the study will be used to revise the survey. I’d like to ask you a few questions to see if you qualify for the study (takes about 5 minutes).

The next few questions are for classification purposes only.

1. What is your name? (write in)

________________________________________________

2. What is your phone number? (write in)

_________________________________________________

3. What is your email address? (write in)

_________________________________________________

[Interviewer circle/highlight responses]

4. Have you participated in a research study or focus group in the past 6 months? (Recruit none.)

1. Yes (Thank and terminate.)

2. No (Continue)

5. Do you work for the American Institutes for Research, or the U. S. Department of Education?

   1. Yes (Thank and Terminate)

   2. No (Continue)

   3. Don’t know / Refused (Thank and Terminate)

6. Which of the following describes your age? (READ LIST)

1. under 18 (Thank and terminate)

2. 66 or older (Thank and terminate)

3. 18 to 24 (Continue; recruit a mix of ages)

4. 25 to 34 (Continue; recruit a mix of ages)

5. 35 to 44 (Continue; recruit a mix of ages)

6. 45 to 65 (Continue; recruit a mix of ages )

7. (Do not read) Refused (Thank and terminate)

(Note: Recruit a mix of ages with a higher proportion of younger population 18-34)

7. Which of the following best describes your employment status? (READ LIST)

1. Working full time or part time (Continue)

2. Retired or otherwise not working (Thank and terminate)

3. (Do not read) Don’t know / refused (Thank and terminate)

8. Do you have a currently active professional certification or a state or industry license?

A professional certification or license shows you are qualified to perform a specific job and includes things like Licensed Realtor, Certified Medical Assistant, Certified Teachers, or an IT certification. These do not include business licenses, such as a liquor license or vending license.

1. Yes (Go to Q9)

2. No (Thank and terminate)

9. Do you have more than one currently active professional certification or state or industry license?

   1. Yes (Go to Q10)

   2. No (Got to Q12)

10. Are your certifications or licenses valid anywhere in the U.S. or only in a particular state or states? (Mark all that apply – the R may have both a national level CN and state level CN)

    1. Anywhere in the U.S. (i.e., these are likely certifications, not licenses; Go to Q12)

    2. In particular state(s) only (Continue)

    3. Both (Continue)

11. Do you have the same certification(s) or license(s) in more than one state?

    1. Yes (Go to Q12 – Recruit 25 who responded “In particular state(s) only” to Q10; recruit 15 who responded “Anywhere in the U.S.” or “Both” to Q10)

    2. No (Continue)

12. What is YOUR HIGHEST EDUCATION level?

1. Less than High School (Continue; recruit a mix of education levels)

2. High School Graduate (Continue; recruit a mix of education levels

3. Some College, trade, technical or vocational school (Continue; recruit a mix of education levels)

4. College degree (Continue; recruit a mix of education levels)

5. Graduate education (Continue; recruit a mix of education levels)

(Note to recruiter: Recruit a few participants that do not have a college degree)

13. Are you currently working towards a certification or a state or industry license?

    1. Yes (Select one)

       1. Currently working towards your first certification or license (Recruit none. Thank and terminate – note there should be no cases for this response since they reported they had a certification or license.)

       2. Currently working towards getting a new one in addition to the certifications or licenses you already have (Continue – Recruit 10)

    2. No (Continue)

14. Are you a licensed day care provider?

    1. Yes (Continue – Recruit 2-3 who fall under any of the three groups being recruited)

    2. No (Continue)

15. RECRUITER: INDICATE GENDER (Recruit a mix of males and females.)

    1. Male

    2. Female

Based on your answers, we would like to invite you to participate in an interview (to discuss your education and work credentials). You will receive $40 to thank you for completing the interview. The interview is about 1 hour in length and will be conducted at XXXXX. If you drive, please park in our garage and bring your ticket with you for validation. We will pay for your parking.

We are conducting interviews on __________ and ___________. Are you available to participate in this research study?

	CIRCLE
Yes	1	 (CONTINUE AND GIVE DIRECTIONS)
No	2	 (THANK AND TERMINATE)

Attachment 2.2

NHES 2019 ATES Spanish Language Cognitive Interviews

Recruitment Screener – Spanish

Hola.

Mi nombre es [XXXXXX] y trabajo para American Institutes for Research. El Departamento de Educación de los Estados Unidos está realizando un breve pero importante estudio sobre la educación y las credenciales de trabajo de los adultos. American Institutes for Research (AIR) está ayudando con el estudio. Su participación es voluntaria y no recibirá llamadas de ventas o de seguimiento basadas en su participación.

Estamos buscando adultos que nos ayuden a entender cómo interpretar las preguntas de una encuesta sobre la educación y las credenciales de trabajo de los adultos. El objetivo de este estudio es evaluar la claridad de los materiales de la encuesta y necesitamos la ayuda de personas como usted para hacer esto. La información obtenida del estudio se utilizará para hacer posibles revisiones a la encuesta. Me gustaría hacerle unas preguntas para ver si usted cuenta con los requerimientos necesarios para ser seleccionado para el estudio (tarda unos 5 minutos).

Las siguientes preguntas son solo para darnos información general.

1. ¿Cuál es su nombre? (Escribir)

________________________________________________

2. ¿Cuál es su número de teléfono? (Escribir)

_________________________________________________

3. ¿Cuál es su dirección de correo electrónico? (Escribir)

_________________________________________________

[El entrevistador debe marcar con un círculo las respuestas]

4. ¿Ha participado en un estudio de investigación o grupo de enfoque en los últimos 6 meses? (RECLUTAR A LAS PERSONAS QUE DIGAN NO.)

3. Sí (Dar las gracias y terminar.)

4. No (Continúe)

5. ¿Trabaja usted para American Institutes for Research o el Departamento de Educación de los Estados Unidos?

   1. Sí (Dar las gracias y terminar)

   2. No (Continúe)

   3. No sabe / Se niega a contestar (Dar las gracias y terminar)

6. ¿Cuál de las siguientes categorías describe su edad? (LEER LISTA)

8. Menor de 18 (Dar las gracias y terminar)

9. 66 o mayor (Dar las gracias y terminar)

10. De 18 a 24 (Continúe; reclutar varias edades)

11. De 25 a 34 (Continúe; reclutar varias edades)

12. De 35 a 44 (Continúe; reclutar varias edades)

13. De 45 a 65 (Continúe; reclutar varias edades)

14. (No leer) Se niega a contestar (Dar las gracias y terminar)

(Nota: reclutar variedad de edades con una proporción más alta de población joven, 18-34 años)

7. ¿Cuál de las siguientes categorías describe mejor su situación laboral actual? (LEER LISTA)

4. Empleado a tiempo completo o parcial (Continúe)

5. Jubilado o no está trabajando (Dar las gracias y terminar)

6. (No leer) No sabe / se niega a contestar (Dar las gracias y terminar)

8. ¿Tiene usted una certificación profesional o una licencia estatal o industrial que sea válida actualmente?

Una certificación o licencia profesional muestra que usted está cualificado(a) para realizar un trabajo específico e incluye profesiones tales como agente licenciado de bienes raíces, asistente médico certificado, maestro certificado, o una certificación de tecnología de información. No incluya licencias comerciales, tales como de licor o de máquinas expendedoras (vendedoras automáticas)

1. Sí (Pasar a Q9)

2. No (Dar las gracias y terminar)

9. ¿Tiene usted más de una certificación profesional o licencia industrial activa actualmente?

   1. Sí (Pasar a Q10)

   2. No (Pasar a Q12)

10. ¿Son sus certificaciones o licencias válidas en cualquier lugar de los Estados Unidos o solo en un estado o estados específicos? (Seleccione todas las que apliquen – R puede que tenga CN válidas tanto a nivel nacional y nivel estatal.

    1. En cualquier lugar de los Estados Unidos (i.e. estas es probable que sean certificaciones, no licencias; Pasar a Q12)

    2. En estados específicos (Continúe)

    3. Ambas (Continúe)

11. ¿Tiene la misma certificación(es) o licencia(s) en más de un estado?

    1. Sí (Pasar a Q12, reclutar a 10 personas que han respondido “en cualquier lugar de los Estados Unidos”; reclutar a 10 personas que han respondido “en estados específicos”; o que han respondido “ambas”)

    2. No (Continúe)

12. ¿Cuál es su nivel de educación más alto?

1. Menos que la escuela secundaria/preparatoria (high school) (Continúe; reclutar variedad de niveles educativos)

2. Graduado de la escuela secundaria/preparatoria (high school) (Continúe; reclutar variedad de niveles educativos)

3. Algunos estudios universitarios, de escuela de oficios, técnica o vocacional (Continúe; reclutar variedad de niveles educativos)

4. Título universitario (Continúe; reclutar variedad de niveles educativos)

5. Estudios de posgrado (Continúe; reclutar variedad de niveles educativos)

(Nota: reclutar unos cuantos participantes que no tienen un título universitario)

13. ¿Está actualmente en proceso de obtener una certificación profesional o una licencia industrial o estatal?

1. Sí (Seleccione una)

   1. Actualmente en proceso de obtener su primera certificación profesional o licencia (No reclutar a nadie. Dar las gracias y terminar – no debería haber casos con esta respuesta ya que han dicho que tenían una certificación o licencia anteriormente)

   2. Actualmente en proceso de obtener una nueva además de las certificaciones o licencias que ya posee (Continúe – Reclutar 10)

2. No (Continúe)

14. ¿Tiene usted una licencia para cuidar a niños?

    1. Sí (Continúe – Reclutar 2-3 personas en cualquiera de las categorías anteriores)

    2. No (Continúe)

__________________________________________________________________________

15. RECLUTADOR: INDICAR GÉNERO (reclutar variedad de hombres y mujeres)

1. Hombre

2. Mujer

En base a sus respuestas, nos gustaría invitarle a participar en una entrevista (para discutir su educación y sus credenciales de trabajo). Usted recibirá 40 dólares en agradecimiento por completar la entrevista. La entrevista dura aproximadamente una hora y se llevará a cabo en XXXXX. Si usted conduce, por favor estaciónese en nuestro garaje y traiga su ticket para validarlo. Nosotros cubriremos el costo de su estacionamiento.

Estamos realizando entrevistas en __________ y ___________. ¿Está disponible para participar en este estudio de investigación?

	CIRCULE
Sí	1	 (CONTINUAR Y DAR DIRECCIONES)
No	2	 (DAR LAS GRACIAS Y TERMINAR)

Attachment 3.1

NHES 2019 ATES Spanish Language Cognitive Interview Protocol – English

Interview ID:		Date of Interview:
First Name:		Interviewer

STEP 1: WELCOME AND INTRODUCTION SCRIPT

Interviewer Instructions: The following scripts should NOT be read verbatim. Text in italics is suggested content with which the interviewer should be thoroughly familiar in advance. Text in brackets [ ] presents instructions for the interviewer.

Hello, my name is <your name > and I work for American Institutes for Research. It’s nice to meet you, thanks for coming to help us out today.

[Create small talk to build rapport with the respondent]

You are here today to help us with a survey that we are working on for the U.S. Department of Education. This survey asks about adults’ education and training experiences. I will ask you to complete the survey as if you were taking a real survey. There are no right or wrong answers, and it’s ok if you do not know some of the answers. As you are answering the questions I will ask you about your answers. This will help us make the survey better and clearer for other adults like you.

To make sure we learn everything we can from this session, I am going to be taking notes while you are answering the survey and while we are talking [INSERT IF THERE IS AN OBSERVER: and my colleague will also be observing our session today behind the glass/by video].

Also, this interview will be audio recorded so researchers can review the recording later. Any information that refers to you personally, like your name or employer, will not be included in our report, and your responses will be used for research purposes only. Is all of this OK?

Remember, you are not being tested; all we want is to learn how well the survey works.

If at any time you want to stop, just let me know.

[If, for any reason, the participant is no longer interested in participating, thank the participant for his/her time and end the interview.]

Before we continue, do you have any questions? [Answer any questions they may ask.]

[Provide respondent with a copy of the informed consent form. Ask the respondent to read the form (or read it to him/her, depending on respondent preference), answer any questions, and have the respondent sign the form. Leave a separate copy of the form with the respondent.

If the respondent has consented to recording, start the recorder.]

STEP 2: THINK-ALOUD PRACTICE

While you fill out the survey I want you to talk about how you are answering the questions. Hearing you talk about how you decide on your answers will help me understand how to make the questions better. I am more interested in how you arrive at your answers than in the answers you give. To help you get started on thinking aloud, we are going to do a practice activity. [Show an example by asking yourself the question and answering it using ‘think-aloud’]

I’m going to give you a piece of paper with a question on it. I’m going to ask you to read out loud the question and think aloud as you decide on your answer.

[Give respondent handout with think aloud practice.]

How many glasses of water did you drink yesterday?

Please tell me what you are thinking while you are figuring out your answer.

Probe as needed for detail: How did you arrive at that answer? What were you visualizing when you were deciding on that answer? Can you tell me more about what you are including in your count?

When complete: Thank you; that’s the kind of detail I’m looking for when you talk to me about your answers to the questions in the survey.

[Hand respondent a copy of the questionnaire and a pen or pencil.]

STEP 3: COMPLETION OF THE QUESTIONNAIRE

Now I would like you to complete the questionnaire. I’d like you to think aloud while you decide on your answer. Please read aloud anything you would read to yourself if I were not here.

Remember that I am interested in hearing you talk about what you are thinking as you figure out your answers to the questions.

[REMEMBER TO TELL THEM THROUGHOUT THE QUESTIONNAIRE THAT THEY ARE DOING A GREAT JOB THINKING ALOUD, AND THEIR ANSWERS TO YOUR QUESTIONS ARE REALLY HELPFUL.]

Useful Probes—Use only as needed when response is unclear or R appears confused or unsure

Can you tell me in your own words what that question was asking?

What does the word [term] in this question mean to you?

How easy or difficult is it to remember [topic]?

How easy or hard was it to choose an answer?

Tell me what you are thinking.

How did you come up with that answer?

You said [answer]. Can you tell me more about that?

[In response to R actions or comments]: Tell me what happened? Tell me what you were doing?

[If you pick up on a visual cue like a furrowed brow or a puzzled look]: Tell me what you are thinking.

[If you pick up on a visual cue that indicates confusion like paper flipping or rereading an old question before answering this question]: Tell me what just happened. Tell me about what you were just doing.

Education
STOP RESPONDENT AFTER Q2 IF NEEDED – Probe on Q1-2	NOTES
ASK QUESTIONS AND USE PROBES ONLY AS NECESSARY
Instructions: It is not necessary to probe on the instructions. Note if the respondent has any problems if they read them.
Q1-Q2: It is not necessary to probe on these questions. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Certifications and Licenses
STOP RESPONDENT AFTER Q11 – Probe on Q3-11	NOTES
Q3-6: It is not necessary to probe on these questions. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q7:  Is your most important certification or license required by a federal, state, or local government agency (such as a state board) in order to do that kind of work? Who issued your certification or license? Did you interpret this item to mean that you should answer yes ONLY IF the certification or license is required by a state board? Why do you think you interpreted it that way?
Q8: It is not necessary to probe on this question. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q9: In the process of getting your most important certification or license, did you do any of the following? How easy or difficult was it to answer this question? Are any of these options confusing? Are there any other activities you participated in that are not listed here? IF R FIRST SAYS THEY TOOK CLASSES (“Yes” to 14a-c): How easy or difficult was it to remember the classes, trainings, or other activities you participated in?
Q10: Did you prepare for your most important certification or license through a FREE state or city program? How easy or difficult was it to answer this question? If YES, tell us more about the program. Who offered it and who paid the program costs?
Q11: It is not necessary to probe on this question. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q3 through 11 If the R did not explain from the think aloud and probes above probe further: Tell me a little bit more about your most important certification or license—in your own words, what was the process you went through in order to get it?
STOP RESPONDENT AFTER Q17 – Probe on Q12-17	NOTES
Q12: It is not necessary to probe on this question. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q13: We have some questions about your SECOND-MOST-IMPORTANT certification or license. Is your second-most-important certification or license the same as your most important one, but in a different state? In your own words, what does this question mean to you? How easy or difficult was it to answer this question? IF YES: Tell me more about this second CN or license and how it relates to your most important CN or license
Q14-15: It is not necessary to probe on these questions. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q16:  Is your second-most-important certification or license required by a federal, state, or local government agency (such as a state board) in order to do that kind of work? Who issued your certification or license? (If R seems confused) How easy or hard was it to answer this question?
Q17: It is not necessary to probe on this question. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q12 through 17 If the R did not explain from the think aloud and probes above probe further: Tell me a little bit more about your second most important certification or license—in your own words, what was the process you went through in order to get it?
STOP RESPONDENT AFTER Q23 – Probe on Q18-23	NOTES
Q18: It is not necessary to probe on this question. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q19: We have some questions about your THIRD-MOST-IMPORTANT certification or license. Is your third-most important certification or license the same as your most important or second most important one, but in a different state? How easy or difficult was it to answer this question? IF YES: Tell me more about this third CN or license and how it relates to your most important or second-most important CN or license.
Q20-23: It is not necessary to probe on these questions. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Preparation for New Certifications and Licenses
STOP RESPONDENT AFTER Q29 – Probe on Q24-29	NOTES
Q24: Are you currently working on RENEWING a professional certification or license? What does it mean to you to be currently working on renewing a certification or license?
Q25: Are you currently working on getting a NEW professional certification or license? In your own words, how does this question differ from the previous question? What, to you, is a “new” certification or license? (If R happens to mention currently being enrolled in school during talk-aloud portion of the Education section, try to probe on whether they are in a program that leads to certification or licensure (e.g., teaching, nursing, cosmetology, computer networking, electrician) and if so, whether they consider their current studies to be a part of preparing for certification or licensing in their field.)
Q26-27: It is not necessary to probe on these questions. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q28:  Is this certification or license required by a federal, state, or local government agency (such as a state board) in order to do that kind of work? Who issued your certification or license? (If R seems confused) How easy or hard was it to answer this question?
Q29: In preparing for your MOST IMPORTANT new certification or license, are you currently participating in or have participated in any of the following activities? Tell me a bit more about the process that you have to go through to get this certification or license. Is there anything else important that you are doing or have done to get this certification or license that is not listed here? IF RESPONDENT CHECKS THE BOX FOR CERTIFICATE OR DEGREE: Can you tell me a bit more about the certificate or degree that you are required to complete to get this certification or license?
Employment
STOP RESPONDENT AFTER Q37 – Probe on Q30-37	NOTES
Q30-35: It is not necessary to probe on this section. Let the respondent continue the think aloud and only probe if respondent says something that indicates a potential problem, or if there is confusion or an inconsistent interpretation compared to other respondents.
Q36: Do you spend 5 or more hours each week IN YOUR HOME looking after any children under age 13 who are not your own? Can you tell me in your own words what this question was asking? How easy or difficult was it to answer this question? If yes, tell me a bit more about this. How many children to you look after? How many hours each week do you look after them? And these are NOT your children?
Q37: Are you paid for watching those children? How easy or difficult was it to answer this question? Looking at questions 36 and 37 does their placement make sense or do they seem out of place?

FINAL QUESTION

Is there anything else you would like to tell me about this questionnaire that you haven’t had a chance to mention?

(IF APPLICABLE) REMEMBER TO ASK OBSERVER FOR INPUT/ADDITIONAL QUESTIONS

STEP 4. THANK YOU FOR PARTICIPATING

We are finished. Thank you for helping us. The information you’ve provided will be very helpful for improving this survey.

Interviewer Instructions: Collect materials and escort respondent out of the interviewing room and to the lobby. Please give the respondent incentive envelope [$40], and thank them for their time and effort.

Attachment 3.2

NHES 2019 ATES Spanish Language Cognitive Interview Protocol – Spanish

Interview ID:		Date of Interview:
First Name:		Interviewer

PASO 1: BIENVENIDA E INTRODUCCION DE LA ENTREVISTA

Instrucciones para el encuestador: El siguiente protocolo NO debe ser leído textualmente. El texto en letra cursiva solo es contenido con el cual el encuestador debe familiarizarse antes de la entrevista. El texto entre paréntesis [] contiene instrucciones para el encuestador.

Hola, mi nombre es <su nombre> y trabajo para [COMPAÑIA]. Mucho gusto de conocerle. Gracias por venir a ayudarnos el día de hoy.

[Platique de algún tema casual para establecer una buena relación con el participante.]:

Usted está aquí hoy para ayudarnos con un nuevo estudio de investigación que estamos realizando para el Departamento de Educación de los Estados Unidos. Este estudio pregunta acerca de las experiencias educativas y de entrenamiento para el trabajo de los adultos. Como parte de este estudio, le voy a pedir que complete una encuesta como que si estuviera completando una encuesta real en su casa. No existen respuestas correctas o incorrectas y está bien si usted no sabe algunas de las respuestas. A medida que usted vaya respondiendo a las preguntas, yo le voy a hacer algunas preguntas acerca de sus respuestas. Esto nos ayudará a que las preguntas en la encuesta sean mejores y más claras para otras personas como usted.

Debido a que la información que usted nos dará es muy importante, voy a estar tomando notas mientras estamos hablando [INSERTE SI HAY UN OBSERVADOR: y mi colega también va a observar nuestra sesión de hoy a través del cristal/por vídeo].

Además, esta entrevista será grabada en audio para que los investigadores del estudio puedan revisar la grabación más tarde. Cualquier información que se refiera a usted personalmente, tal como su nombre o empleador, no será incluida en nuestro informe y sus respuestas serán utilizadas únicamente para fines de investigación. ¿Está usted de acuerdo con lo que he mencionado?

Recuerde que esto no es un examen. Queremos que nos diga lo que usted piensa acerca de las preguntas de la encuesta.

Si en algún momento usted desea parar, solo déjemelo saber.

[Si por algún motivo el participante ya no tiene interés en participar, agradézcale por su tiempo y termine la entrevista.]

Antes de que continuemos, ¿tiene alguna pregunta sobre lo que acabo de decir? [Responda a cualquier pregunta que pueda hacer el participante.] Remember, you are not being tested; all we want is to learn how well the survey works.

DELE AL ENCUESTADO UNA COPIA DEL FORMULARIO DE CONSENTIMIENTO. PEDIRLE QUE LEA LA FORMA (O LEASELA, DEPENDINEDO DE LA PREFERENCIA DEL ENCUESTADO) RESPONDA CUALQUIER PREGUNTA Y PEDIRLE QUE FIRME LA FORMA. DELE UNA COPIA DEL FORMULARIO DE CONSENTIMIENTO AL ENCUENTADO

SI EL ENCUESTADO HA DADO SU CONSENTIMIENTO EMPIECE LA GRABACION

PASO 2: PRACTICA DE PENSAR VOZ ALTA

Mientras esté completando la encuesta, quiero que hable acerca de cómo está contestando las preguntas. Quiero escucharla(o) hablar acerca de cómo usted llega a sus respuestas para así entender cómo mejorar estos materiales. Me interesa más saber cómo llega a sus respuestas que en las respuestas que usted me dé. Para ayudarle a empezar a pensar en voz alta vamos a hacer un ejercicio de práctica.

Primero, le voy a dar una demostración de cómo pensar en voz alta. Después le voy a dar una oportunidad para que practique.

[Model the think aloud process for the respondent, including reading the question out loud. Elaborate on counting all of the glasses of water as needed you can make up pieces of information to emphasize the think aloud process e.g., “I don’t know if I should count the coffee I drank in the morning, I drink three cups of coffee, I am going to count those since that is the only liquids I have in the morning...” When you are modeling, write down the number of glasses of water as you are thinking aloud.]

[Once finished the model practice think aloud]

Voy a darle un papel con una pregunta. Le voy a pedir que lea en voz alta la pregunta y que piense en voz alta mientras decide su respuesta.

[Give respondent handout with think aloud practice.]

¿Cuántos vasos de agua tomó usted ayer?

Por favor dígame lo que está pensando mientras me da su respuesta.

Pregunte según sea necesario para obtener información detallada: ¿Cómo llegó a esa respuesta? ¿Qué estaba visualizando mientras estaba decidiendo qué responder? ¿Puede decirme más acerca de lo que usted está incluyendo en su cuenta?

Cuando haya completado el ejercicio: Gracias. Ese es el tipo de detalle que busco cuando usted me hable acerca de sus respuestas a las preguntas de la encuesta.

[ENTREGUE AL ENCUESTADO UNA COPIA DEL CUESTIONARIO Y UNA PLUMA O UN LAPIZ.]

PASO 3: RESPUESTAS A LA ENCUESTA

Ahora voy a darle la encuesta. Me gustaría que piense en voz alta mientras decide su respuesta. Por favor lea en voz alta cualquier cosa que usted hubiera leído para sí misma(o), como si yo no estuviera aquí.

Recuerde que estoy muy interesada(o) en escucharle hablar acerca de lo que está pensando mientras decide sus respuestas a las preguntas.

[RECUERDE DECIRLE AL ENCUESTADO QUE ESTÁ DANDO INFORMACIÓN MUY ÚTIL CUANDO PIENSA EN VOZ ALTA Y QUE SUS RESPUESTAS A LAS PREGUNTAS SON DE GRAN UTILIDAD.]

Preguntas útiles—Utilicelas solo cuando las respuestas no son claras o el encuestado parece confundido

En sus propias palabras, ¿qué dice esta pregunta?

¿Qué significa para usted la palabra [término] en esta pregunta?

¿Qué tan fácil o difícil es recordar [tema]?

¿Qué tan fácil o difícil fue escoger una respuesta?

Dígame lo que está pensando.

¿Cómo llegó a esa respuesta?

Usted dijo [respuesta]. ¿Puede decirme un poco más acerca de cómo llego a esa respuesta?

[En respuesta a las acciones o comentarios del encuestado]: Por favor, dígame que sucedió. Dígame que estaba usted haciendo.

[Si nota alguna señal visual, como cejas fruncidas o una expresión de confusión]: Por favor, dígame que sucedió. Dígame que estaba usted haciendo. Dígame lo que está pensando

[Si nota alguna señal visual que indica confusión, como pasar páginas adelante y atrás, volver a preguntas anteriores]: Por favor, dígame que sucedió. Dígame que estaba usted haciendo. Dígame lo que está pensando

Educación
PARE AL ENCUESTADO DESPUÉS DE Q2 SI ES NECESARIO – Pregunte sobre Q1-2	NOTAS
HAGA PREGUNTAS SEGÚN SEA NECESARIO
Instrucciones: No es necesario preguntar sobre las instrucciones, nada más anote si el encuestado tiene problemas con ellas.
Q1-Q2: No es necesario indagar sobre estas preguntas. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Certificaciones y Licencias
PARE AL ENCUESTADO DESPUÉS DE Q12 – Pregunte sobre Q3-12	NOTAS
Q3-6: No es necesario indagar sobre estas preguntas. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q7: ¿Es su certificación o licencia más importante requisito de un gobierno federal, estatal o local (por ejemplo una junta estatal) para poder realizar ese tipo de trabajo? ¿Quién emitió esta certificación o licencia? ¿Interpretó usted esta pregunta de manera que SOLO contestaría sí SI la certificación o licencia es requerida por una junta estatal? ¿Por qué cree que lo interpretó de esta manera?
Q8: ¿En cuántos estados es su certificación o licencia válida en la actualidad? En sus propias palabras, ¿qué dice esta pregunta? ¿Me podría decir un poco más acerca de cómo seleccionó su respuesta? ¿Qué tan fácil o difícil le resultó responder a esta pregunta?
Q9: No es necesario indagar sobre esta pregunta. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q10: Para obtener su certificación o licencia más importante, ¿tomó algunos de estos tipos de clases? ¿Qué tan fácil o difícil le resultó responder a esta pregunta? ¿Le resultan confusas alguna de las opciones de respuesta? ¿Hay alguna otra actividad en la que participó que no está incluida en esta lista? SI EL ENCUESTADO DICE QUE TOMÓ CLASES (Sí a 9a-c): ¿Qué tan fácil o difícil le resultó recordar las clases, entrenamientos, u otras actividades en las que participó?
Q11: ¿Se preparó para su certificación o licencia más importante a través de un programa del gobierno GRATIS? ¿Qué tan fácil o difícil le resultó responder a esta pregunta? [SI contestó afirmativamente] Díganos un poco más sobre el programa. ¿Quién lo ofrecía y quién pagó los costos del programa?
Q12: No es necesario indagar sobre esta pregunta. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q3 through 12 Si el encuestado no dio suficiente información al pensar en voz alta o con las preguntas del encuestador, haga más preguntas: Dígame un poco más sobre su certificación o licencia más importante—en sus propias palabras, ¿qué tuvo que hacer para conseguirla?
PARE AL ENCUESTADO DESPUÉS DE Q18 – Pregunte sobre Q13-18	NOTAS
Q13-15: No es necesario indagar sobre estas preguntas. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q16: ¿Es su certificación o licencia segunda en importancia requisito de una agencia del gobierno federal, estatal o local (por ejemplo una junta estatal) para poder realizar ese tipo de trabajo? ¿Quién emitió esta certificación o licencia? (Si el encuestado parece confundido) ¿Qué tan fácil o difícil le resultó responder a esta pregunta?
Q17: ¿En cuántos estados es su certificación o licencia válida en la actualidad? ¿Me podría decir un poco más acerca de cómo seleccionó su respuesta?
Q18: No es necesario indagar sobre esta pregunta. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q13 through 18 Si el encuestado no dio suficiente información al pensar en voz alta o con las preguntas del encuestador, haga más preguntas: Dígame un poco más sobre su certificación o licencia segunda en importancia—en sus propias palabras, ¿qué tuvo que hacer para conseguirla?
PARE AL ENCUESTADO DESPUÉS DE Q24 – Pregunte sobre Q19-24	NOTAS
Q19-22: No es necesario indagar sobre estas preguntas. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q22: ¿Es su certificación o licencia tercera en importancia requisito de una agencia del gobierno federal, estatal o local (por ejemplo una junta estatal) para poder realizar ese tipo de trabajo? ¿Quién emitió esta certificación o licencia? (Si el encuestado parece confundido) ¿Qué tan fácil o difícil le resultó responder a esta pregunta?
Q23: ¿En cuántos estados es su certificación o licencia válida en la actualidad? ¿Me podría decir un poco más acerca de cómo seleccionó su respuesta?
Q24: No es necesario indagar sobre esta pregunta. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Preparación para Nuevas Certificaciones y Licencias
PARE AL ENCUESTADO DESPUÉS DE Q30 – Pregunte sobre Q25-30	NOTAS
Q25: No es necesario indagar sobre esta pregunta. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q26: ¿Está tratando actualmente de obtener una NUEVA certificación o licencia profesional adicional En sus propias palabras, ¿en qué se diferencia esta pregunta de la anterior? (Si el encuestado menciona estar inscrito en la escuela durante la sección de Educación, intenta indagar si se trata de un programa que lleva a una certificación o licencia (ej. educación, enfermería, cosmetología, electricista) y en tal caso, si consideran sus estudios actuales como parte de prepararse para una certificación o licencia en ese campo.)
Q27-28: No es necesario indagar sobre estas preguntas. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q29: ¿Es esta certificación o licencia requisito de una agencia del gobierno federal, estatal o local (por ejemplo una junta estatal) para poder realizar ese tipo de trabajo? ¿Quién emitió esta certificación o licencia? (Si el encuestado parece confundido) ¿Qué tan fácil o difícil le resultó responder a esta pregunta?
Q30: Para preparar su nueva certificación o licencia MÁS IMPORTANTE está usted participando o ha participado en alguna de las siguientes actividades? Cuénteme un poco más sobre el proceso para conseguir esta certificación o licencia. ¿Hay algo importante que usted hizo o está haciendo para conseguir esta certificación o licencia que no está en esta lista? ¿Está usted completando alguna de estas actividades online? En caso afirmativo, ¿las incluyó al seleccionar las opciones? Si es que no, ¿incluiría actividades completadas online (por ejemplo, clases online de una universidad) al hacer su selección? SI EL ENCUESTADO SELECCIONA LA CASILLA DE CERTIFICADO O TÍTULO: ¿Podría decirme un poco más sobre ese certificado o título que es requerido para completar esta certificación o licencia?
Empleo
PARE AL ENCUESTADO DESPUÉS DE Q38 – Pregunte sobre Q31-38	NOTAS
Q31-36: No es necesario indagar sobre estas preguntas. Deje que el encuestado continúe su proceso de pensar en voz alta y solamente haga preguntas si el encuestado dice algo que indique un problema potencial, o si hay confusión o alguna inconsistencia en la interpretación comparado con otros encuestados.
Q37: ¿Pasa usted 5 o más horas cada semana EN SU HOGAR cuidando a algún niño(a) menos de 13 años que no son sean sus hijos? En sus propias palabras, ¿qué dice esta pregunta? ¿Qué tan fácil o difícil le resultó responder a esta pregunta? En caso afirmativo, cuénteme un poco más. ¿A cuántos niños cuida? ¿Cuántas horas a la semana pasa cuidándolos? Y estos no son sus hijos, ¿correcto?
Q38: ¿Le pagan por cuidar de esos niños? ¿Qué tan fácil o difícil le resultó responder a esta pregunta? Cuando ve las preguntas 36 y 37, ¿le parece que tiene sentido donde están situadas, o le parece que están fuera de lugar?

PREGUNTA FINAL

¿Hay algo más sobre lo que le gustaría hablar acerca de estos materiales? ¿Hay algo acerca de lo que no ha tenido oportunidad de hablar?

(SI APLICA) RECUERDE PREGUNTAR AL OBSERVADOR SI TIENE ALGO QUE AÑADIR O PREGUNTAS ADICIONALES

PASO 4. GRACIAS POR PARTICIPAR

Hemos terminado. Gracias por ayudarnos. La información que nos ha dado será muy útil para mejorar las cartas y la encuesta.

Instrucciones para el entrevistador: Recoja los materiales y acompañe a los encuestados al vestíbulo. Por favor dele a los encuestados el sobre con el incentivo, y agradézcales por su tiempo y su ayuda.