X hits on this document

PDF document

David Aguado García, Carlos Santa Cruz, José R. Dorronsoro y Víctor J. Rubio ... - page 3 / 3

12 views

0 shares

0 downloads

0 comments

3 / 3

14

DAVID AGUADO GARCÍA, CARLOS SANTA CRUZ,

JOSÉ R. DORRONSORO Y VÍCTOR J. RUBIO FRANCO

mínima entropía, y éste lo es menos que el criterio mixto. Esto es debido a que, como preveíamos, con el criterio de máxima infor- mación al utilizar la habilidad estimada de los sujetos, y no ser és- ta sumamente precisa al administrar únicamente los primeros ele- mentos, la selección de los ítems no es la más adecuada para pro- porcionar una estimación de más precisa. Sin embargo, con el criterio de mínima entropía, aún produciendose una selección de ítems más adecuada que con máxima información, se produce un rendimiento inferior que con el criterio mixto. Esto puede ser de- bido a que en el criterio mixto para la selección de los ítems se- gundo y tercero sí se utiliza la información del nivel de rasgo esti- mado mientras que en el criterio de mínima entropía no es tenido en cuenta. Por tanto, esta diferencia entre el criterio mixto y el de mínima entropía se debe fundamentalmente al buen funciona- miento del primer ítem administrado (seleccionado en ambos ca- sos mediante mínima entropía). Por ello, la ubicación del nivel de

  • de los sujetos tras la administración de este primer ítem propor-

ciona ya una buena estimación como para comenzar a utilizarla en la selección del ítem siguiente (criterio de máxima información).

Dicha situación se reproduce básicamente cuando nos fijamos en los resultados obtenidos al analizar la estimación de tras 4 y 5 ítems, lo que supone un 17% del banco.

Por otro lado, al llegar a la administración de 6 elementos (20% del banco), el criterio mixto se sigue beneficiando del buen efecto del primer ítem, y el criterio de máxima información se recupera respecto del criterio de mínima entropía igualándose los resultados de ambos. Lo que parece indicar que, progresivamente, al ser ca- da vez más precisa la estimación de el criterio de máxima infor- mación selecciona ítems con mayor aporte de precisión.

Este efecto de mayor efectividad del criterio mixto, junto con la disminución de la efectividad del criterio de mínima entropía y aumento del de máxima información, va progresivamente dismi- nuyendo al aumentar el número de ítems utilizados, de modo que al realizar la estimación de con los 15 primeros ítems (50% del banco) la precisión de los tres criterios comienza a igualarse sig- nificativamente.

Conclusiones

Los resultados presentados en este breve estudio muestran la viabilidad de implementación de un nuevo algoritmo de selec-

ción de ítems en un proceso adaptativo. En este sentido, el traba- jo indica cómo algoritmos basados en criterios de entropía, en los cuáles no es tenida en cuenta la estimación de para la se- lección del ítem, pueden ser utilizados en los primeros momen- tos de desarrollo del TAI en el que dicha estimación es suma- mente imprecisa. Sin embargo, conceptualmente, tal y como he- mos presentado el algoritmo de mínima entropía, como algorit- mo único de selección de ítems no produce un proceso adaptati- vo, ya que no incorpora ninguna información proveniente de la respuesta del sujeto.

Por ello, es necesario realizar una consideración fundamental. El algoritmo de mínima entropía, bien debe ser estudiado en un contexto mixto de selección de ítems, o bien debe incorporar in- formación sobre la respuesta de los sujetos para producir un algo- ritmo realmente adaptativo.

En este sentido, dos líneas de trabajo han de ser desarrolladas. De un lado el estudio del criterio mixto: mínima entropía y máxi- ma información, analizando en qué momentos del TAI la estima- ción de la del sujeto es suficientemente precisa como para cam- biar del algoritmo de entropía al de máxima información. Y, de otro lado, la incorporación en el algoritmo de entropía la informa- ción derivada de la respuesta de los sujetos a cada ítem. De este modo un sujeto al responder a un item concreto, en función de la opción elegida, restringe el rango de posible para él. Y, es sobre ese rango de sobre el que debería aplicarse el criterio de mínima entropía y no sobre todo el rango posible (como por ejemplo, pa- ra la elección del primer item).

Un aspecto colateral ha de ser señalado. El algoritmo de entro- pía proporciona una solución satisfactoria para la elección del pri- mer ítem a administrar en el TAI. No obstante, dicha solución en- tra en conflicto con criterios de exposición de ítems. Según el al- goritmo, el mejor item del banco es el primero que se utiliza, y ese mejor item es siempre el mismo, de modo que el TAI comenzaría siempre con el mismo elemento de medida.

Por otro lado, el grado de ganancia del criterio mixto respecto del de máxima información reposa fundamentalmente en la bon- dad del ítem con menor entropía del banco. Cuanto «peor-mayor» sea esta entropía del «mejor ítem» del banco, menor diferencia existirá entre ambos criterios, por el contrario cuanto «menor-me- jor» sea la entropía del «mejor ítem» del banco mayor ganancia respecto al criterio de máxima información se obtendrá.

Referencias

Chang, H. y Ying, Z. (1996). A global information approach to Com- puterized Adaptive Testing. Applied Psychological Measurement 20, 213- 229.

Owen, R.J. (1975). A bayesian sequential procedure for quantal res- ponse in the context of adaptive mental testing. Journal of the American Statistical Association 70, 351-356.

Davey, T. y Parshall, C.G. (1995). New algorithms for item selection and exposure control with Computerized Adaptive Testing. Paper presen - ted ar the annual meeting of the American Educational Research Associa - tion, April 18-22, San Francisco.

Samejima, F. (1969). Estimation of latent ability using a response pat- tern of graded scores. Pyschometrika, Monograph Supplement 17.

Shannon, C.E. (1949). A mathematical theory of communication. Part III. Bell System Thechnical Journal, XXVIII, 623-656.

Dodd, B.G., De Ayala, R.J. y Koch, W.R. (1995). Computerized Adap- tive Testing with Politomous items. Applied Psychological Measurement 19, 5-22.

van der Linden, W.J. (1995). Bayesiam Item Selection in adaptive tes- ting. Paper presented at the annual meeting of the Psychometric Society. Minneapolis MN.

Muraki, E. Y Bock, R.D. (1996). Parscale 3.0. Chicago: Scientific Software International, Inc.

Veerkamp, W.J. y Berger, M.P. (1997). Some new item selection criteria for adaptive testing. Journal of educational and behavioral statistics 22, 203-226.

Document info
Document views12
Page views12
Page last viewedWed Dec 07 22:53:42 UTC 2016
Pages3
Paragraphs115
Words2756

Comments