En realidad no son tres áreas, sino que configuran en un todo integral, la visión científica, que el profesional en buena medida debe conocer y manejar de manera apropiada, aun cuando no tanto para su desarrollo puntual sino por lo menos para su aprovechamiento teórico y práctico, dada que ellas establecen los límites e informan sobre los alcances de las teorías. Eso si teniendo absoluta precaución en no caer en lo que se podría denominar, el "culto al método": Si el método que se utilizó fue bueno... el producto es bueno! !
Para efectos de esta charla, se revisarán aspectos conceptuales y prácticos de la evaluación, sin dejar de lado elementos metodológicos y estadísticos, pero siempre tratando de abordar la problemática derivada en el estudio e intervención del psicólogo en áreas de la psicología de la salud.
ALGUNOS CONCEPTOS DE EVALUACIÓN
Sin pretender una amplia revisión sobre el concepto evaluación, se debe recordar que esta consiste en un proceso de asignación de "números" a las diferentes "magnitudes" o "clases" en que se pueda manifestar una dimensión o variable, como el tiempo de evolución, la temperatura corporal, el nivel ansiedad o el genero de un consultante. Por ello en el fondo y en mayor o menor medida, evaluar significa usar el modelo matemático para diferenciar las manifestaciones de un fenómeno y es mejor en la medida en que el proceso de asignación del número sea más perfecto, o sea que la variable se acerque más al funcionamiento del modelo de las matemáticas (Acá el paradigma de análisis es el modelo matemático y la realidad, las variables que se pretenden evaluar). Como comentario al margen, se debe recordar que algún epistemólogo pretendió medir la cientificidad de una disciplina por la proporción de variables de alto nivel de medición (escalas de razón y proporción e intervalo, cuantitativas) en comparación con las mediciones de menor nivel (escalas ordinales y nominales, cualitativas). En qué radica la diferencia ? Sencillo, en que a medida que avanza en la complejidad de las escalas de medición, también se avanza en la complejidad de las operaciones matemáticas que de manera correcta se puedan hacer con la variable. Mientras en los niveles nominales sólo se puede hacer la operación de igualdad o diferencia, en las escalas de razón o proporción es valido hacer operaciones de multiplicación y división. Así mismo, ello valida el uso de pruebas estadísticas paramétricas si simultáneamente se cumplen otros criterios de referente poblacional, pero si, son cualitativas, ya per se, se descarta la posibilidad de recurrir a análisis paramétricos , además de otras implicaciones en la complejidad del análisis. Ello posiblemente, haga pensar a los detractores, que la evaluación hace perder la visión integral del ser humano ya que en realidad al hacer la medición es necesario predefinir específicamente la variable objeto de medición. No obstante, en si mismo, optar por medir una dimensión con un instrumento particular no genera que desde el nivel humanista se pierda el concepto global del ser humano sino que desde este marco se pretende observar cómo es el comportamiento del individuo en una variable. Aun cuando el instrumento, sólo pueda medir una o algunas de las dimensiones humanas, es en el análisis diagnóstico de esta información donde se debe reflejar la habilidad del profesional para mantener la integralidad humana. Posiblemente no exista un instrumento que sea capaz de ponderar la amplia gama de dimensiones presentes en un individuo e inclusive en un proceso organizacional, clínico o similares y por ello es necesario que hayan diversos instrumentos según los objetivos de la evaluación.
Tal vez uno de los conceptos centrales de la evaluación en salud es la validez, entendida como "la certeza de que la información obtenida sea el reflejo de la realidad". O como en la jerga coloquial se diría "Que se mida lo que se quiere medir". En otros términos, que si el psicólogo pretende evaluar la calidad de atención percibida por el paciente, el instrumento realmente informe el nivel en que se encuentra su percepción en esta variable y no hayan otros elementos que puedan ser conceptualmente los causales de la valoración obtenida como podría ser la actitud del paciente hacia su padecimiento o hacia el personal de salud que le atendió.
La validez es la resultante del proceso de diseño y prueba de un instrumento en el cual el rigor del método de desarrollo utilizado garantiza que el instrumento se comporte como se comporta la variable de interés. Dentro de la más simple psicometría la validez se calcula por el grado de correlación de una prueba con otra ya previamente conocida, ello por ende exige que se tenga un instrumento para validar otro o por lo menos que puedan darse indicadores clínicos tomables como gold standard o patrones de oro.
UNA VISIÓN EPIDEMIOLÓGICA DE LA EVALUACIÓN
En la literatura médica de tiempo atrás, la validez es analizada para las pruebas de laboratorio, rayos X, patología y cuanta técnica de evaluación sea utilizada e inclusive, se ha llegado a hacer análisis de validez diagnóstica de los lectores de los exámenes. Ello en su origen investigativo se enmarca en los denominados estudios de concordancia diagnóstica en los cuales se busca discriminar la utilidad diagnóstica de una prueba, un examen o un concepto médico. Obviamente, dentro de su visión disciplinar, típicamente se toma como gold standard la existencia de una entidad patológica manifestada a través de la evolución clínica, el resultado quirúrgico, una prueba ya validada o un conjunto de criterios definidos por expertos, entre otras alternativas. De hecho la adecuada escogencia del gold standard también exige un soporte teórico sólido para que los resultados sean validos.
Desde esta visión, dicha metodología de análisis es igualmente aplicable a variables de la esfera psicológica y particularmente cuando se trata de la psicología de la salud, ya que no sería entendible que sobre el mismo objeto de estudio deba recurrirse a perspectivas diferentes simplemente por la disciplina del profesional, no así, si el tipo de fenómeno estudiado lo amerita. Para mayor claridad, véase parte de los análisis posibles. La tabla siguiente, da algunos conceptos interesantes que toda prueba debería satisfacer.
Si se mira la realidad diagnóstica (asumiendo este término, en el sentido amplio, que corresponde a identificar un estado no conocido v.g. patología, disfunción conductual, alteración emocional y cumplimento del tratamiento médico, entre otros y también en el sentido no clínico, v.g. calidad de atención, opiniones y existencia de proyecto de vida ) que se pretende evaluar, se podrían presentar las posibilidades que están en la tabla de análisis, por ejemplo, si se buscase identificar una alteración emocional (v.g. Depresión), sería:
ESTADO DE SALUD
(enfermedad)
Lo anterior muestra descriptivamente que el resultado de una prueba (Positivo-negativo), visto por si solo no es garantía de un evaluación adecuada o diagnóstico( enfermo-No enfermo), como en este caso se le está llamando. Ello requiere entonces, que el clínico no solo atienda al resultado estricto de una evaluación sino que exija conocer propiedades de validez de los instrumentos. Con base en la misma tabla, se podrían calcular los siguientes indicadores de validez :
- SENSIBILIDAD : a/(a+c)*100
- ESPECIFICIDAD : d/(b+d)*100
- VALOR PREDICTIVO POSITIVO : a/(a+b)*100
- VALOR PREDICTIVO NEGATIVO : d/(c+d)*100
- EXACTITUD DIAGNÓSTICA : (a+d)/(a+b+c+d)*100
Como no son concepto muy trabajados en la terminología psicológica, véanse las siguientes definiciones :
La sensibilidad es una característica estable que indica el nivel de utilidad de la prueba para detectar los verdaderos casos (pacientes realmente deprimidos, en el ejemplo), mientras que la especificidad indica el nivel de utilidad para identificar los verdaderos sanos (no deprimidos) y por ende tiene muy pocos falsos negativos. Supóngase que la sensibilidad y la especificidad fueron del 90%, eso significaría que el test, esta en capacidad de identificar a 90 de cada 100 pacientes deprimidos y a 90 de cada 100 personas no deprimidas, luego se tendría 10 de cada 100 pacientes deprimidos serían diagnosticados como no deprimidos y 10 de cada 100 individuos no deprimidos serían identificados como deprimidos, siendo estos los grupos de falso negativos y falsos positivos respectivamente.
Este análisis relativamente simple, es útil en la medida que evita dejar sin tratamiento a personas que lo requieren y a la vez, evita implementar tratamientos para quienes no ameritan la intervención. Lo primero corrige el efecto clínico y social que se pueda derivar de una patología que en el caso de la depresión del ejemplo, mejoraría la calidad de vida y el ajuste social del individuo. Lo segundo, evitaría el incremento de costos y los posibles efectos secundarios de los tratamientos, que en el caso del ejemplo permitiría atender otros objetivos terapéuticos sin invertir tiempo y recursos en atender un cuadro depresivo inexistente.
El anterior análisis, se da bajo condiciones de investigación y prueba de los instrumentos, ya que son características estables de los test, no obstante, el clínico no siempre tiene a mano esta información y las más de las veces sólo tiene en su poder el resultado individual de la prueba aplicada. Es por ello, que el conocimiento de los valores predictivos le permitirán formarse un juicio respecto a la utilidad diagnóstica del resultado que esta analizando. Es así, como el valor predictivo positivo indica la probabilidad de que un resultado positivo corresponda realmente a una persona enferma y el valor predictivo negativo por su parte, señala la probabilidad de que un resultado negativo corresponda a una persona sana. En el ejemplo, si estos valores fuesen del 90% indicarían que si el test es positivo se tiene el 90% de probabilidad de que la persona realmente este deprimida y si fuese negativo, se tendría el 90% de certeza de que la persona no tiene depresión. Ello llevaría entonces, a que el clínico tenga esos niveles de seguridad de que tomó la decisión correcta al optar por implementar o no un tratamiento.
En conjunto, lo deseable sería que tanto la sensibilidad como la especificidad, como los valores predictivos positivo y negativo fuesen de 100% y con ello se configuraría la prueba ideal, dado que sería la realmente válida. No obstante, es difícil encontrar un test con tales características. Llama la atención que a pesar de lo relevante que este análisis parece ser, en el ámbito de la psicología la generalidad clínica es que los profesionales no se han preocupado por conocer estas cualidades de sus pruebas de evaluación y en buena medida, los diagnósticos son dejados a la habilidad u "ojo clínico" o a resultados no siempre creíbles de sus pruebas de evaluación.
Ello configura entonces, un área de desarrollo de la Psicología de la Salud e investigación, el estudio de los diferentes instrumentos utilizados para evaluar las variables de interés disciplinar e incluyendo la entrevista como principal herramienta diagnóstica que utiliza el psicólogo. Que interesante sería que al diseñar pruebas para el medio colombiano se informase igualmente cual es su validez diagnóstica. De hecho permitiría que el servicio dado en los diferentes centros de atención se racionalizase de manera que se eviten tratamientos innecesarios o se dejan personas sin tratar cuando realmente lo requieran.
UNA VISIÓN DEMOGRÁFICA DE LA EVALUACIÓN
Corresponde también al área de salud el análisis del comportamiento poblacional de los grupos sociales o comunidades en las cuales se va prestar el servicio. La demografía es el área del conocimiento que tiene por objeto el análisis de los comportamientos poblacionales sean vistos como estáticos o dinámicos. Dentro de esta, las cuatro variables básicas de interés son la mortalidad, la natalidad, la fecundidad y las migraciones. Se suman a ellas el estudio de la morbilidad, la estructura poblacional, los brotes epidémicos y el mapeo de riesgos, entre un sinnúmero de fenómenos.
Sobra resaltar que la comprensión del perfil de morbimortalidad ayuda al grupo de salud y dentro de el, al psicólogo, a la planificación de estrategias localizadas para la disminución de los índices e inclusive posteriormente permite evaluar el impacto real de las medidas o programas establecidos, entre otros usos. Igualmente el conocimiento de la estructura poblacional y su dinámica permiten las proyección demográficas y con ello el establecimiento de políticas de salud. El psicólogo no debe estar al margen de ello. Si se conociese los índices de morbilidad de los déficits de habilidades sociales, de los cuadros de ansiedad y estrés, o a nivel clínico de los índices de no cumplimiento del tratamiento, de la deserción terapéutica, de los estilos de afrontamiento y demás, se podrían establecer modalidades de prevención específicamente diseñadas para las grupos involucrados.
Adicionalmente, la morbilidad vista demográficamente pero con un componente epidemiológico permitiría hacer análisis de riesgo con lo cual se podrían identificar los factores de exposición y según su polaridad y fuerza de asociación, diferenciar los factores de riesgo de los factores protectores y obviamente actuar sobre ellos de manera que la morbilidad se pudiese controlar . Por ejemplo, evaluaciones de este tipo han permitido identificar que conductas como el tabaquismo, el alcoholismo y estilos de vida no saludables, son factores de riesgo de alteraciones cardíovasculares , además, se podría pensar que estabilidad familiar, buenas habilidades sociales y existencia de un proyecto de vida, pueden ser factores que protegen de adquirir un hábito de consumo de sustancia psicoactivas.
Por su parte, el conocimiento de la fecundidad y la natalidad permiten conocer indicadores de crecimiento poblacional y con ello, prever la demanda de recursos de salud, de profesionales e infraestructura general. Para psicología específicamente, sería de interés conocer en esta área la tasa de proporción de abortos y si fuese posible, la de abortos inducidos no patológicos, además, la proporción de nacimientos deseados versus no deseados, entre otros.
Finalmente, el estudio de brotes epidémicos como estrategia evaluativa, permite de manera oportuna tomar acciones cuando los índices de morbilidad ( incidencia - prevalencia ) o mortalidad, se salen de los rangos normales de una comunidad y con ello tipifican el inicio de una epidemia. A nivel de psicología de la salud, un buen ejemplo, lamentablemente poco estudiado como brote epidémico es el reporte de rachas de suicidios en algunas regiones o grupos sociales específicos. Un análisis sistemático permitiría identificar caso índice , tasas de ataque y demás indicadores sobre los cuales se podría actuar de manera preventiva. Igualmente, no se tiene claro la prevalencia e incidencia de los cuadros depresivos teóricamente identificable como factor de riesgo de un cuadro de suicidio, tampoco se conocen las tasas de intento de suicidio y sus factores asociados.
En conjunto la visión demográfica complementada con la aproximación epidemiológica permiten el uso de la información para establecer estrategias de vigilancia epidemiológica. A nivel de las variables de interés para la psicología son contados los casos en los cuales se cuenta con programas que permitan mediante indicadores directos e indirectos, informen de manera oportuna y eficaz, la elevación de un índice de morbilidad que genera una reacción de control por parte de los organismos de salud. La vigilancia epidemiológica sería el sistema de alerta para que el psicólogo actúe sobre el ambiente o grupos sociales en los cuales se disparó un indicador de alteración de salud en su área de interés.
EVALUACIÓN CLÍNICA EN PSICOLOGÍA DE LA SALUD
Ya específicamente en el nivel clínico, la evaluación forma parte de la cotidianidad de la psicología de la salud, sea que se opte intencionalmente por alternativas psicométricas (evaluación de atributos, rasgos o factores vistos a nivel molecular en el individuo en busca de identificar constructos hipotéticos o estados internos) , psicodinámicas (observaciones clínico-inductivas, básicamente proyectivas en consonancia con la exploración de la vida intrapsíquica y su dinámica), conductuales ( análisis de matrices conductuales y funcionales y sus condicionantes ambientales, así como la historia de aprendizaje y las modalidades de modificación de conducta) o médico psiquiátricas (identificación de patologías mentales y sus determinantes biológicos ampliamente reflejados en las metodología diagnóstica del DSM IV). En su fondo, pretenden recolectar información del proceso clínico psicológico asociado con la queja de salud que les llevo a recurrir a la atención del equipo de salud. La mayoría de las veces el paciente de psicología de la salud, no llega por consulta directa al psicólogo sino que esta atención se deriva de la acción de grupos interdisciplinarios o interconsultas de profesionales médicos o no médicos. Esto de entrada condiciona la acción del psicólogo y el proceso evaluativo que requiere, dándose con alguna frecuencia, rechazo o por lo menos, resistencia a la intervención del psicólogo. Generalmente, corre por cuenta del profesional establecer una base motivacional empática para que la evaluación sea aceptada y el posterior tratamiento tenga predictores de éxito.
Obviamente, de los motivos de consulta e interconsulta, en términos ideales es de donde se derivan las primeras variables que interesa evaluar, con miras a la identificación de objetivos terapéuticos según la priorización que conjuntamente se establezca en el proceso clínico. No se debe olvidar que la entrevista per se, es una técnica de evaluación, adicionalmente, se recurre con alta regularidad a los autoinformes, autoregistros, pruebas de papel y lápiz y demás herramientas psicométricas. Como se nota entonces, las estrategias evaluativas en psicología de la salud, en su fondo no difieren de las utilizadas en la psicología clínica y la psicología en general. Tal vez por su bajo costo y tecnología blanda son las más utilizadas, no obstante, precisamente acá es donde se refleja el caso relatado en la anécdota introductoria. Típicamente se validan por la estrategia de jueces expertos que la más de las veces no son realmente expertos, aun cuando puedan ser excelentes profesionales en sus áreas de conocimiento pero no por ello tienen buen dominio de las técnicas de construcción de pruebas. Generalmente se olvida que los atributos evaluados y los itemes construidos conforman solo una muestra del universo posible y aleatoriamente se puede encontrar que no haya representatividad o estimación real del parámetro poblacional implícito y por ende la evaluación, puede no reflejar lo que intencionalmente se desea evaluar.
Posiblemente, donde se diferencia el área de salud es en los registros psicofisiológicos, para los cuales si se exige tecnología adicional y puede atender a la identificación de señales directas (v.g. electrocardiograma), señales traducidas (v.g. electroconductancia dérmica), fenómenos físico - biológicos (temperatura corporal o presión arterial) y fenómenos derivados (potenciales sensoriales evocados).
Tanto en las pruebas de uso corriente de la psicología como en las especializadas en Psicología de la salud, el problema de la validez es tópico central de análisis investigativo y debe ser preocupación constante del clínico.
Una atención especial es la evaluación dirigida a determinar la efectividad terapéutica, con la cual se configuran comparaciones pre - post al mejor estilo de los diseños comparativos de series de tiempo, solo que la mayoría de las veces son de n=1 o denominados de caso único. Con ellos lo que se quiere expresar, es que la acción terapéutica de fondo constituyen un proceso investigativo, en el cual la evaluación aporta la información de prueba de hipótesis con la consiguiente exigencia de validez 1.
Este aspecto lleva a una problemática particular, que es la comparación de la significancia estadística versus la significancia clínica . La primera, hace referencia a la fría prueba de hipótesis según un modelo inferencial paramétrico o no paramétrico, en la cual se pretende recurrir a la diferencia numérica como certificado de efectividad, si la hipótesis que se acepta es la que predecía el cambio en el sentido deseado. La significancia clínica por su parte, supera el estricto nivel numérico y considera el cambio según el beneficio real que el paciente haya recibido o sea el impacto clínico del tratamiento. Aún cuando se esperaría correspondencia entre los dos, es posible que se encuentren diferencias estadísticamente significativas pero clínicamente no suficientes. El psicólogo de la salud, tanto por interés clínico como por ética terapéutica, debe priorizar la obtención de las diferencias clínicas como meta de su intervención y para ello, se ha sugerido que previamente se establezca el cambio mínimo deseado que clínicamente sería útil y hacerlo consistente con la exigencia estadística para la prueba de hipótesis. Algunos autores, proponen inclusive, el cálculo de un índice de cambio terapéutico.
EVALUACIÓN DE LA EVALUACIÓN
No se puede pasar por alto, la actitud crítica que en torno a la evaluación se debe tener tanto por parte del clínico como de los investigadores de psicología de la salud. El principio fundamental de las pruebas diagnósticas reside en la creencia que los individuos con alguna alteración son distintos de los que no la tienen y que las pruebas o exámenes permiten distinguir los dos grupos y aunque lo primero pueda ser cierto, no se tiene la certeza de lo segundo y más grave aún, es saber que no existen diferencias simétricas entre sanos y enfermos y tampoco límites predefinidos que permitan catalogarlos.
Para solucionar esta situación, la evaluación de la evaluación, es un requerimiento obligatorio y ello parte no sólo del análisis conceptual de los parámetros de validez sino también de aspectos más puntuales. Interrogar respecto al "intervalo de lo normal" que implícitamente debe tener la prueba es uno de los aspectos requeridos, aún cuando cuestionable, representa el esfuerzo para medir y cuantificar en la variable cómo es el comportamiento cuando el individuo no presenta la alteración convirtiéndose en el punto de referencia para posteriormente analizar la alteración. Ello exige entonces, que en el proceso de construcción de los instrumentos no solo se contemplen los grupos patológicos extremos sino que además, haya representación de la gama de manifestación de la variable, de tal manera que el instrumento pueda ser más sensible y específico que si solo se le somete a grupos marcadamente afectados. Como línea de investigación, el psicólogo de la salud , debería explorar el comportamiento "normal" de los grupos de referencia para posteriormente poder tipificar las desviaciones.
1. Reiterativamente se habla de la validez dejando de lado el concepto de confiabilidad, no por que este no sea importante sino por que una prueba con validez implícitamente conlleva la confiabilidad. mientras que una prueba con alta confiabilidad, no es garantía de validez
Otro requerimiento para evaluar es el efecto de interacción que puede generar el uso de pruebas paralelas o de pruebas sucesivas, en los mismos individuos. En su construcción, la mayoría de las pruebas se han trabajado de manera aislada y no se conoce como cambia su comportamiento cuando se aplican simultáneamente con otros instrumentos. Son conocidos los efectos de potenciación e interferencia serial , pero han sido poco estudiados y descritos en nuestra actualidad clínica.
Finalmente, el psicólogo de la salud, debería hacerse entre otras, algunas de las siguientes preguntas para formarse una idea de la utilidad real de su evaluación :
- Se hizo una comparación independiente y a ciegas con un gold standard ideal ?
- Se incluyó un espectro adecuado de pacientes con alteraciones leves, moderadas y severas e individuos con alteraciones diferentes pero de cuadro clínico similar ?
- Se describió adecuadamente el medio donde se construyó la prueba, al igual que el filtro por el que pasaron los individuos ?
- Se definió adecuadamente el término "normal" ?
- Se evaluó la reproducibilidad (confiabilidad) de los resultados y de su interpretación (variación del observador) ?
- Se evaluó el comportamiento de la prueba ante el uso simultáneo de una batería de pruebas ? Cual es su contribución a la validez global?
- Se describieron las condiciones de aplicabilidad y replicabilidad ?
- Se determinó la utilidad diagnóstica de la prueba ?.
UNA VISIÓN ÉTICA
No por dejarse de última, esta es menor importante, eso sí, debe ser la preocupación permanente del psicólogo de la salud como clínico y como investigador y es precisamente la evaluación una de las primeras áreas que le establece dilemas éticos explícitos o implícitos.
Sobra anotar que la intervención del psicólogo solo tiene cabida en la medida en que haya aceptabilidad del paciente y por ende el uso de estrategias diagnósticas éticamente también se validan por la misma vía y su aceptación no implica obligatoriedad ya que el individuo puede resistirse o negarse en ejercicio de sus derechos inalienables. No se ampliará este aspecto por cuanto se considera que son de dominio las implicaciones bioéticas de la evaluación psicológica contempladas en el código de ética.
Sólo se resaltará que también es requerimiento ético el conocimiento adecuado y actualizado de las estrategias evaluativas ya que no se puede privar al paciente de acceder a una adecuada tecnología por carencia de conocimiento del profesional , de hecho someter a un individuo a técnicas de evaluación no validadas o con baremos no conocidos o inapropiados, puede llevar a diagnósticos inadecuados que no solo configuran un error clínico sino dado que se originan en una falta de rigor científico, tipifican una acción éticamente cuestionable.
UN COMENTARIO PARA FINALIZAR
Con esta revisión se pretendió mirar de manera sucinta la problemática involucrada en la evaluación en psicología de la salud, en general muestra que debe ser preocupación de los profesionales del área, el mejoramiento de las herramientas diagnósticas y la agudización de su actitud crítica respecto a su uso. Se propende por un desarrollo investigativo y una consolidación de líneas de trabajo que permitan conocer perfiles epidemiológicos y demográficos específicos para la población colombiana en general y regional en particular, dada la heterogeneidad cultural. Queda de manos de los psicólogos el fortalecimiento de su área de trabajo en la salud, donde el final beneficiado será el consultante y el mejoramiento de su calidad de vida la mejor recompensa que como clínicos se puede esperar.
REFERENCIAS Arnau, J. (1995). Diseños longitudinales aplicados a las ciencias sociales y del comportamiento. México : Limusa Noriega Editores.
Coggon, D. y cols. (1995). Epidemiología. Santiago de Chile : Editorial Mediterráneo
Colimon, K. (1990). Fundamentos de Epidemiología . Madrid : Ediciones Díaz de Santos.
Greenberg, R. y cols. (1995). Epidemiología médica. México : Manual Moderno.
Haupt, A. y Kane, T. (1981). Guía rápida de población. Washington : Population reference Bureau inc.
Light, R. y Pillemer, D. (1996). Revisando Investigaciones: La ciencia de sintetizar estudios. Washington : Organización Panamericana de la salud
Riegelman, R. y Hirsch, R. (1992). Como estudiar un estudio y probar una prueba : Lectura crítica de la literatura médica. Washington : Organización Panamericana de la salud.
Roa, A. (1995). Evaluación en Psicología clínica y de la salud. Madrid : Ciencias de la Educación Preescolar y Especial.
Silva, A. (1992). Métodos cuantitativos en Psicología : Un
enfoque metodológico. México : Trillas.
