1 Introducción

La capacidad de narrar oralmente constituye una forma primaria y universal de comunicación, a través de la cual el ser humano organiza y da sentido a sus experiencias. Esta capacidad aparece a temprana edad, siendo una de las primeras facultades mentales desarrolladas en la infancia (Bruner 1985; Isbell et al. 2004). A través de la narración, el infante1 organiza y comprende el mundo que lo rodea, relatando sus vivencias de forma coherente y ordenada (Bruner 1991: 9), primero narrando sus experiencias y observaciones a sus cuidadoras y luego a sí mismo en forma de diálogo interno. Como señala Wells (2009: 72), este proceso lo ayuda no solo a comprender lo que sucede en su entorno, sino también a construir la conciencia de sí mismo. De la misma manera, sus narraciones de experiencias o descubrimientos reflejan no solo su conocimiento lingüístico sino también la comprensión de su realidad sociocultural. Al interaccionar con adultos de su comunidad (madres, padres, cuidadores) los infantes incorporan progresivamente normas, valores y formas, específicas de la matriz sociocultural en la que se encuentran inmersos (Wells 2009: 50).

Una vez que el niño ingresa al sistema escolar, esta capacidad de narrar oralmente puede transferirse lentamente a la narración escrita. Para ello, sin embargo, es necesario el desarrollo de nuevas habilidades que se añaden a las ya adquiridas. A la mencionada adquisición de formas culturales y sociales (Bruner 1991), como también psicológicas (Scionti et al. 2023) y cognitivas, se le suman las competencias motrices (automatización de los patrones grafomotores y la escritura manual) (Camps 1990), el desarrollo de procesos léxicos (conocimientos fonológicos y ortográficos), sintácticos y semánticos así como los procesos de decodificación de los signos de escritura, el reconocimiento de palabras y la comprensión de textos (Abusamra et al. 2024; Milankov et al. 2021; Tolchinsky y Simó 2001). Según Tolchinsky y Simó (2001: 42-44), al mismo tiempo que se incorporan estas habilidades, las alumnas adquieren, de manera incidental y a través de la lectura de textos apropiados a su edad y posibilidades, estructuras lingüísticas, formas textuales y estilos de discurso. En esta etapa es importante la realización de actividades didácticas donde se visualice la estructura de los textos y se realicen ejercicios de escritura y revisión con modelos estructurales. Un estudio realizado por Sepúlveda y Teberosky (2011) con estudiantes de tercer grado de primaria en Barcelona muestra que estas metodologías promueven la construcción de textos mejor organizados y con mayores recursos lingüísticos. 

Esta metodología, sin embargo, no se encuentra extendida en la práctica docente. Según algunos estudios empíricos recientes, los docentes se centran en general en aspectos gramaticales y ortográficos (Montanero et al. 2014; Rønneberg y Nilsen 2022), mientras que la trama y la cohesión raramente forman parte de la enseñanza y tampoco son objeto de corrección (Lucero et al. 2018; Sotomayor et al. 2013). Al respecto, suele argumentarse que es difícil encontrar herramientas de evaluación que permitan medir el nivel de desarrollo en estas categorías en el ámbito escolar o que las maestras no siempre cuentan con el tiempo y el criterio para hacerlo (Cassany 2006). 

En el caso de hablantes que crecen con más de un idioma en el ámbito familiar, existen estudios empíricos que evalúan el desarrollo de las competencias narrativas orales en la primera infancia (Berman y Slobin 1994; Fiestas y Peña 2004; Gagarina et al. 2019; Gutiérrez-Clellen 2002, entre otros). Sin embargo, el campo de investigación de las competencias narrativas escritas en estudiantes de primaria se encuentra en desarrollo, contando con pocos estudios específicos para hablantes bilingües en esta franja etaria (Carbonara et al. 2023; Sánchez Abchi et al. 2017; Torregrossa et al. 2021). 

Teniendo en cuenta el panorama anteriormente descrito, y dado que no existen herramientas de evaluación de competencias específicas de la gramática textual para hablantes de herencia de español, nos propusimos adaptar un instrumento ya existente para poder utilizarlo como pretest y postest2 en el marco de estudios experimentales. Este artículo presenta, entonces, el proceso de adaptación y validación de un instrumento para evaluar las competencias narrativas escritas de niños y niñas de entre 8 y 11 años (4° y 5° grado) con el español como lengua de herencia, es decir, como la lengua que les es transmitida a través de (por lo menos uno de) los progenitores y en la que tienen un menor grado de exposición, tanto en contextos formales como informales, en comparación con la lengua mayoritaria o vehicular (Melhorn 2022; Ortega 2020).

A continuación, se presenta el estado de la investigación sobre el desarrollo y evaluación de las competencias narrativas textuales, específicamente en infantes bilingües (§2). Posteriormente, se justifica la elección de una determinada herramienta de evaluación y se explica el procedimiento realizado para, primero, adaptarla al grupo meta de alumnos de primaria con español como lengua de herencia y, segundo, probar su validez y fiabilidad con un grupo de estudiantes monolingües argentinos (§3). En un siguiente paso, se describen los resultados de la validación realizada (§4). Finalmente, se discuten los resultados y sus implicaciones para posteriores estudios (§5).

2 El desarrollo de las competencias escritas y su evaluación

En este apartado revisaremos brevemente algunos conceptos referidos al desarrollo de las competencias narrativas escritas, en particular, las competencias referidas a la macroestructura textual. Posteriormente presentaremos el estado de la cuestión referente a la evaluación de competencias narrativas escritas en niños bilingües y multilingües.

2.1 El desarrollo de las competencias narrativas escritas

Según Mata (1999), las teorías sobre el texto se dividen en teorías lingüísticas (aquellas que describen la estructura del texto) y psicolingüísticas (aquellas que describen la estructura mental y los procesos cognitivos de comprensión, recuerdo y producción del texto). Las primeras describen tres tipos de conocimientos necesarios para poder escribir un buen texto: saber organizar el contenido a escribir, utilizar correctamente recursos lingüísticos propios de la narración y poder informar al receptor del significado emocional de la secuencia de acontecimientos narrados (Labov y Waletzky 1967). Estos conocimientos forman parte de lo que llamamos macroestructura narrativa, la cual está estrechamente relacionada con las denominadas gramáticas textuales, modelos que intentan sintetizar y describir los elementos que componen una buena historia (Mandler y Johnson 1977; Rumelhart 1975; Stein y Glenn 1979; Thorndyke 1977). Zanchi et al. (2020) señalan además que la macroestructura narrativa oral y la escrita estarían asociadas, lo que implica que quien organiza la información correctamente de forma oral, también lo sabe hacer de forma escrita. Las teorías psicolingüísticas, por su parte, proponen que la producción de un texto implica interpretar, transmitir y comprender información de forma explícita (Nicolopoulou et al. 2006: 125) y, además, ser capaz de planificar lo que vamos a escribir. Esta planificación necesita de una forma de procesamiento retrospectivo y no lineal de dicha información (Francis 2006: 25). Producir un texto escrito es, por lo tanto, una tarea compleja que depende no solo de la comprensión de los componentes del texto, sino también del estado de desarrollo psicolingüístico de quien escribe.

Los estudiantes en edad escolar se encuentran inmersos en el proceso de desarrollo psicolingüístico. Debido a ello, los modelos basados en protocolos de escritura de adultos expertos no contemplan los problemas de interferencia que pueden ocurrir en estadios tempranos del desarrollo. Así por ejemplo, para Flower y Hayes (1981) la redacción se compone de una serie de procesos que se presentan de manera recursiva: planificar (generación de ideas, organización de la información y determinación de objetivos), la traducción (que implica poner en palabras lo que se intenta transmitir) y, por último, la revisión. Sin embargo, en edades tempranas, el proceso de traducción se ve comprometido por la carga cognitiva presentada por la mecánica de la escritura (competencias grafomotoras) (Accorti Gamannossi y Pinto 2014), la dificultad de planificar el texto y, en el caso de los niños y niñas bilingües, el desconocimiento de vocabulario o de estructuras gramaticales todavía no completamente asentadas que pueden afectar a la memoria de trabajo (McCutchen 1996). Estos procesos no se encuentran desarrollados en los infantes de forma homogénea y a ello se suma el hecho de que la planificación y revisión de textos no suelen ser considerados explícitamente dentro del currículo de educación primaria (Mata 1999; Lucero et al. 2018; Sotomayor et al. 2013).

Para poder acercarnos a una evaluación del texto escrito en primaria, es necesario, primero, considerar qué elementos vamos a evaluar del mismo. En este trabajo, nos enfocaremos en la macroestructura, es decir, en los elementos que hacen que una historia sea comprensible y tenga sentido, y tomaremos como referencia el modelo propuesto por Stein y Glenn (1979), específicamente pensado para analizar la forma en que construyen historias los niños y niñas en la etapa de educación primaria (de 5 a 11 años). Según estas autoras, la gramática textual se centra en la construcción de categorías estructuradas en un sistema jerárquico, donde una historia se compone de dos partes:

• Introducción o escenario, subdividido a su vez en escenario mayor (presentación de los personajes) y escenario menor (descripción del contexto social, físico y temporal de la historia). Esta categoría no tiene relaciones causales con los episodios, por lo que puede aparecer al inicio de la historia o en otro lugar donde sea necesario presentar nuevos personajes.

• Sistema de episodios (unidad superior). Consiste en una secuencia de hechos, fenómenos o comportamientos, que presenta una estructura interna con relaciones determinadas para cada uno de sus elementos. 

En el sistema de episodios pueden aparecer las siguientes categorías relacionadas de forma causal:

1. Suceso inicial: representa cambios de tipo ambiental, emocional, vivencial o acciones que provocan que el personaje actúe.

2. Respuesta interna: describe el estado psicológico del protagonista que puede no ser explícito, pero puede inducirse del suceso siguiente y motiva la elaboración de un plan de acción.

3. Plan interno: describe el plan estratégico, articulado en metas, pensado por el protagonista y que lo induce a una acción concreta. En las historias infantiles no suele aparecer, por lo cual Stein y Glenn lo asimilan a la respuesta interna. 

4. Ejecución: representa una acción concreta del protagonista para llegar a su meta final o a una intermedia. 

5. Consecuencia directa: indica si la meta se ha logrado o si algo ha cambiado.

6. Reacción: relata cómo reaccionan los personajes a la consecuencia directa e incluye emociones, conocimientos y acciones.

Algunas autoras diferencian además entre los componentes que son indispensables y aquellos que son opcionales. Los primeros se encuentran dentro del esquema G-A-O (Goal-Attempt-Outcome) (Gagarina et al. 2019) que incluyen un evento que provoca el comienzo de la historia, un intento por resolver el problema por uno o más caracteres y un resultado de ese intento. Los segundos se refieren a la información que conecta los eventos mencionados con los estados mentales de los protagonistas y que, si bien no es indispensable, ayuda a reforzar la coherencia entre los distintos componentes narrativos (Schneider et al. 2005). 

Existen evidencias de que la complejidad de la estructura narrativa oral aumenta con la edad (Berman y Slobin 1994; Pinto et al. 2017; Trabasso y Rodkin 1994; Zurer Pearson 2001). En el caso de niños y niñas monolingües, los elementos temporales comienzan a aparecer a partir de los 4 años (Gagarina et al. 2019), y recién a partir de los 5 a los 6 años los niños pueden reproducir un esquema del tipo G-A-O en forma completa. En estas edades comienzan a aparecer también algunos de los elementos los estados mentales de los personajes (Stein 1988). Finalmente, alrededor de los 9 a los 10 años la presencia de elementos debería ser ya más rica y compleja (Stein y Albro 1997). Estas etapas de desarrollo lingüístico y cognitivo parecen desarrollarse de manera independientemente del idioma, como lo muestra un estudio de cruzamiento lingüístico realizado en infantes monolingües hablantes de alemán, español, hebreo, inglés y turco (Berman y Slobin 1994). 

Frente a las múltiples investigaciones realizadas sobre el desarrollo de las competencias escritas en hablantes de L1 de edades tempranas, apenas contamos con estudios centrados en hablantes bilingües o multilingües. Los escasos resultados publicados ofrecen evidencias de que los niños y niñas multilingües no presentan diferencias relevantes en cuanto a la capacidad de escribir una trama completa en su lengua de herencia con respecto a los monolingües (Sánchez Abchi et al. 2017).

2.2 La evaluación de las competencias narrativas escritas en infantes multilingües

En los últimos años, numerosos autores han optado por la renarración de historias como un método eficaz para evaluar el desarrollo de macroestructuras narrativas en la etapa de primaria (Carbonara et al. 2023; Flores et al. 2022; Gagarina et al. 2019; Otwinowska et al. 2020; Sánchez Abchi et al. 2017; Torregrossa et al. 2021). Este método consiste en mostrar a las estudiantes una secuencia de imágenes que forman una historia para, a continuación, pedirles que la relaten. En el caso de los estudios que trabajan específicamente las competencias narrativas escritas en niños y niñas bilingües o multilingües se aprecian dos corrientes: algunos autores utilizan secuencias de imágenes del Instrumento de Normas Narrativas Edmonton (ENNI, en sus siglas en inglés) con audios de refuerzo en el momento de mostrar la historia (Carbonara et al. 2023; Flores et al. 2022), mientras que otras autoras recurren a un vídeo mudo que narra una historia (Sánchez Abchi et al. 2017).

El estudio de Carbonara et al. (2023) analiza el desarrollo de las competencias narrativas en niños y niñas bilingües en 4° y 5° grado de una escuela primaria italiana luego de ser expuestos a pedagogías multilingües durante dos años y en comparación con un grupo de control. Los test de medición se componen de una encuesta de perfil sociolingüístico, la renarración de la historia A3 de ENNI (Schneider et al. 2005) y un test cloze basado en la historia B3 de ENNI (Carbonara et al. 2023). La misma prueba cloze es utilizada en la investigación de Flores et al. (2022) para medir competencias bilingües en estudiantes (pre-)adolescentes (entre 8 y 15 años) con el portugués como lengua de herencia. La prueba en este caso fue realizada en los dos idiomas, vehicular y de herencia, según la región lingüística a la que pertenecían los participantes (francesa, alemana, italiana). La investigación de Sánchez Abchi et al. (2017), por su parte, compara el desarrollo de las competencias narrativas en un grupo de niños y niñas que crecen con el español como lengua de herencia en Suiza con otro grupo de niños y niñas que crecen en un entorno mayormente monolingüe en Argentina. Para ello, utiliza un cortometraje animado mudo de tres minutos y estructura narrativa canónica titulado Something Fishy (Konyha 2002). La evaluación se realizó utilizando las categorías narrativas ya mencionadas de Stein y Glenn (1979). 

3 Metodología

En este apartado detallaremos las razones que motivaron la selección del instrumento de medición, la adaptación del mismo, los procesos de validación de dicha adaptación y los procedimientos realizados para medir la confiabiliad del instrumento adaptado.

3.1 Elección y adaptación del instrumento de medición

Si bien con el estudio de Sánchez Abchi et al. (2017) mencionado anteriormente ya existe un instrumento, convenientemente validado, para evaluar las competencias narrativas de niños hablantes de herencia de español, hay que tener en cuenta que a través de un cortometraje – como el de Something Fishy – solo se puede diagnosticar la competencia narrativa de los niños en un momento determinado, es decir, el mismo cortometraje no puede ser utilizado antes y después de una intervención en el marco de estudios experimentales. Por esta razón, y con el propósito de contar con un instrumento más para evaluar las competencias narrativas de niños hablantes de herencia de español, se optó por elegir el instrumento ENNI. Este instrumento ha sido empleado en varios estudios para medir el desarrollo de competencias narrativas escritas y orales en niños y niñas de 4° y 5° grado (Carbonara et al. 2023; Flores et al. 2022; Torregrossa et al. 2021) y asimismo presenta dos historias con el mismo grado de complejidad, construidas para ser estructuralmente equivalentes (Torregrossa et al. 2021) y permitir su uso como pretest y postest. 

En concreto, este instrumento se adaptó con la intención de ser utilizado en el marco de un estudio más amplio (Demkura, en preparación), dirigido a analizar el efecto de una intervención pedagógica en las competencias narrativas de estudiantes de 4° y 5° grado que asisten a las Escuelas Europeas alemán-español en Alemania. Estas escuelas llevan adelante un sistema de enseñanza de semiinmersión lingüística, donde conviven estudiantes que tienen el español como lengua de herencia con otros que pueden tener el alemán u otra lengua como lengua materna. 

Se eligió la historia A3 (que presenta a dos personajes principales, una jirafa que tiene un avión de juguete y una elefanta que se lo quita y lo tira a una piscina) y la historia B3 (que presenta a una perrita que tiene un globo y a un conejito que se lo quita y lo deja salir volando) por ser las más complejas y adecuadas para el rango de edades entre diez a doce años. Además, y tal y como hacen Carbonara et al. (2023) y Torregrossa et al. (2021), se generó un audio de apoyo en español con lenguaje sencillo, que describiera las escenas con los elementos clave de la historia y con un vocabulario comprensible por hablantes de distintas variedades del español. Véase como ejemplo el comienzo del texto elaborado para la historia A33:

Había una vez un niño jirafa y una niña elefante.

Un día se encuentran en la piscina. 

El niño jirafa tiene un avión de juguete y se lo muestra a la niña elefante. 

La niña elefante le quita el avión de las manos al niño jirafa y lo hace girar por el aire.

El avión cae al agua [...]

La decisión de complementar las imágenes con audio, si bien discutida por (Schneider 1996) en el caso de hablantes monolingües, parece ser una opción adecuada en el caso de hablantes de herencia, ya que permite completar el vocabulario no disponible o no completamente incorporado. Por otro lado, la presencia de las imágenes compensa la carga cognitiva presente en el momento de escribir, al reducir la exigencia que recibe la memoria de trabajo y al ayudar a organizar y planificar el texto (Camps 1990; McCutchen 1996). 

3.2 Protocolo de validación de los textos

Una vez confeccionado el texto utilizado como refuerzo auditivo, es necesario validarlo. Para ello, en este caso la validación por un grupo de expertos se presenta como la opción más adecuada ya que representa

“ […] una opinión informada de personas con trayectoria en el tema, que son reconocidas por otros como expertos cualificados en éste, y que pueden dar información, evidencia, juicios y valoraciones.” (Escobar-Pérez y Cuervo-Martínez 2008: 29).

Este grupo de expertos debe contar con las siguientes características: experiencia realizando juicios y tomando decisiones basadas en evidencia o experticia, reputación en la comunidad, disponibilidad y motivación para participar, imparcialidad y cualidades como confianza en sí mismo y adaptabilidad (Skjong y Wentworth 2001).

Para este proyecto se contó con dos expertos y una experta, todos doctores en lingüística, uno especializado en el análisis de variedades del español, dos con experiencia docente en primaria, en especial con grupos de hablantes de herencia en Alemania. Las variedades del español habladas por los expertos son rioplatense, chilena y la de la experta peninsular. El siguiente protocolo de validación fue enviado a cada uno junto con los textos a evaluar. 

Luego de recibir las respuestas se corrigieron las palabras y expresiones lingüísticas que fueron observadas como potencialmente conflictivas. En la historia A3 la palabra que se identificó como problemática fue la de guardavidas, muy utilizada en Argentina y Chile. La recomendación de los expertos fue cambiarla por socorrista o salvavidas. Con respecto a las expresiones lingüísticas que podrían ser problemáticas o generar confusión, el grupo de expertos recomendó reemplazar la expresión y lo lanza al aire por y lo lanza a volar. En la historia B3 la palabra que se identificó como problemática fue enojada y la recomendación fue reemplazarla por enfadada. Con respecto a las expresiones lingüísticas, la expresión El conejito piensa que el vendedor lo puede ayudar se identificó como problemática debido a la diferencia de utilización del clítico de formas diferentes en las variedades latinoamericanas y peninsulares. Se siguió entonces la recomendación de reemplazarla por El conejito piensa que el vendedor puede ayudar, que omite el clítico. 

Además, se les leyeron los textos a cinco hablantes de herencia en edad escolar, hablantes de variedades rioplatense, peninsular, venezolana, mexicana y boliviana y que crecen en comunidades donde la lengua vehicular es el alemán, para preguntarles si entendían el texto sin problemas. En todos los casos, la respuesta fue positiva.

3.3 Procedimiento para evaluar la fiabilidad del instrumento 

Antes de utilizar la adaptación de las historias de ENNI como test de evaluación de competencias narrativas para alumnos de lengua de herencia, es necesario determinar si el nivel de los textos y la tarea de renarrarlos resultan adecuados para alumnos de primaria monolingües (con español como L1). Si los textos (y la tarea de renarrarlos) se revelan como demasiado difíciles, no sería apropiado probarlos con alumnos de lengua de herencia. Igualmente, es importante que el instrumento tenga la complejidad necesaria para cubrir un amplio rango de competencias. Por otro lado, es crucial descartar un posible efecto de familiarización, es decir, asegurar que el conocimiento de cómo se realiza el test no genere por sí solo mejores resultados en la segunda renarración de la historia. Por estas razones, y considerando la dificultad de encontrar un grupo homogéneo de hablantes de lengua de herencia en Alemania en la franja etaria referida, se decidió probar el instrumento con dos grupos de estudiantes monolingües, de 4° y 5° grado respectivamente, residentes en Argentina.

Los participantes argentinos fueron contactados a través de invitaciones escritas. Las familias invitadas pertenecen al grupo de contactos de la primera autora. Para poder participar, los estudiantes debían estar cursando 4° y 5° grado de la escuela primaria y las madres, padres, tutores o encargadas, debían inscribirse en un formulario en línea. Una vez inscritos, se los contactaba para recoger datos de perfil sociolingüístico (edad, sexo, desarrollo cognitivo y lingüístico, lenguas del hogar, educación pública o privada) y se seleccionaron los casos en los que las familias no habían detectado problemas de desarrollo cognitivo o del lenguaje y eran monolingües. Todos los participantes asistían a escuelas públicas estatales. El grupo de 4° grado, residente en la provincia de Buenos Aires, se compone de veinte participantes (15 niñas, 5 niños, edad promedio: 9;35, SD:0;29) y el de 5° grado, residente en la provincia de Misiones, se compone de 18 participantes (11 niñas y 7 niños, edad promedio: 10;37 SD:0;31).

Todas las participantes tomaron parte de dos sesiones individuales de Zoom con una madre, padre, tutor o encargada presente. En la primera sesión se les pidió que escucharan la historia A3 del protocolo ENNI (Schneider et al. 2006) pregrabada y acompañada del soporte visual de las diapositivas. A continuación, el o la participante contaba con 45 minutos para renarrar la historia en forma escrita. Una diapositiva con las partes principales de la narración permanecía en pantalla como ayuda de memoria. Entre una semana y diez días después se realizaron las segundas sesiones en línea con el mismo procedimiento utilizando la historia B3. Todos los participantes terminaron de escribir cada una de las historias dentro de los 45 minutos disponibles. 

4 Resultados de la validación del instrumento

Antes de realizar el análisis estadístico, codificamos las dos historias basándonos en el procedimiento de gramática del texto de Schneider et al. (2006). Como ya se describió en el apartado 2, existen elementos que son constitutivos de una narración bien construida: la estructura del evento y los estados mentales de los personajes. Con respecto la estructura, el evento inicial, el propósito y el resultado son importantes porque son indispensables para la estructurar la narración. Las dos historias A3 y B3 están organizadas en tres episodios, con lo cual estos elementos pueden aparecer hasta tres veces en los textos. Siguiendo el sistema de puntuación de Schneider et al. (2006), se le asignaron 2 puntos a cada aparición de estos componentes, contabilizando un total de 18 puntos. Los elementos menos importantes, como la descripción del escenario y la presentación de los diferentes personajes, reciben 1 punto con un total de 5 puntos en el caso de completar la serie. Las respuestas y reacciones internas de los personajes ante los acontecimientos, así como sus planes internos, se contabilizan según los mismos autores con un total de 14 puntos. En la Tabla 2 se ejemplifica el método de puntuación a través de un extracto del texto de un participante.

Para poder determinar si los dos test (la historia A3 y la historia B3 de ENNI junto con los audios de apoyo) son equivalentes en términos de dificultad y, por tanto, pueden usarse como indistintamente como pretest y postest, se realizaron las siguientes pruebas de estadística descriptiva: t-test de muestras pareadas y de muestras independientes en el caso de obtener una distribución normal de las muestras, así como la prueba de rangos con signo de Wilcoxon (para muestras relacionadas o emparejadas) y la prueba de la suma de rangos de Wilcoxon o prueba U de Mann-Whitney (para muestras independientes) (Woodrow 2014). Como programas estadísticos se utilizaron PSPP (GNU Project 2023) y RStudio (Posit Team 2025). Además, se realizaron con RStudio las pruebas de equivalencia mediante dos pruebas unilaterales (TOST, en sus siglas en inglés) para comprobar la equivalencia de los dos test.

4.1 Análisis de la gramática textual

En este estudio la variable dependiente es la puntuación total obtenida en la estructura de los eventos, medida en dos pruebas: la primera (Test A, historia A3) y la segunda (Test B, historia B3). En todos los casos se verificó la distribución de los datos.

En el grupo de 4° grado las muestras siguen una distribución normal (p=0.17>0.05), por lo cual se realizó un t-test de muestras relacionadas. Como se puede apreciar en la Tabla 3, en este grupo, con N=20 y 19 grados de libertad, no se aprecia una diferencia significativa (p>0.05) a pesar de que Test B muestra una ligera diferencia negativa. El tamaño del efecto fue grande (eta-cuadrado η²=0.14), pero no se refleja en una diferencia significativa entre los test. Debido al tamaño de la muestra se realizó además el test de rangos con signo de Wilcoxon, dando como resultado p=0.069>0.05. Esto confirma que la diferencia no es significativa con un efecto mediano de r=-0.4074.

En el grupo de 5° grado, con muestras de distribución normal (p=0.06>0.05), un N=18 y 17 grados de libertad, la media del Test B también fue negativa, pero tampoco se aprecia una diferencia significativa (p>0.05). El tamaño del efecto fue mediano ( η²=0.08). Debido al tamaño de la muestra, se realizó, además, el test de rangos con signo de Wilcoxon que mostró un resultado de p=0.450>0.05. Esto confirma el resultado no significativo y con una pequeña magnitud de la diferencia r=- 0.11. 

4.2 Comparación de las puntuaciones del Test A (historia A3) 

Una vez confirmada la distribución normal de las muestras del Test A en 4° (p=0.33>0.05) y 5° grado (p=0.17>0.05), se realizó una prueba de t-test de muestras independientes. A continuación, se aplicó el test de Levene para evaluar la homogeneidad de varianzas, con un resultado p=0.446, lo que indica que no se rechaza la hipótesis nula de igualdad de varianzas (H0<0.05). Por tanto, se asumió homogeneidad para la interpretación principal del t-test.

Bajo la suposición de varianzas iguales, los resultados fueron los siguientes: t=-0.75, p=0.459>0.05, con una diferencia de medias de -0.59 (error estándar = 0.79) y un efecto pequeño (η²=0.015). En otras palabras, no se pudo encontrar una diferencia significativa en la puntuación del Test A entre los grupos de 4° y 5° grado.

4.3 Comparación de los desempeños del Test B (historia B3) 

Como se observa, la muestra presenta una distribución normal, tanto en el grupo de 4° grado (p=0.29>0.05) como en el de 5° grado (p=0.40>0.05).

En el Test B, la prueba de Levene para evaluar la homogeneidad de varianzas dio como resultado F=9.10, p=0.005, lo que indica que se rechaza la hipótesis nula de igualdad de varianzas (H0<0.05). Por tanto, no se asumió homogeneidad para la interpretación principal del t-test.

Bajo la suposición de varianzas no iguales, los resultados fueron los siguientes: t=-0.54, p=0.593>0.05, con una diferencia de medias de -0.48 (error estándar = 0.90) y un efecto pequeño (η²=0.008). Como en el caso del Test A, no se encontraron diferencias significativas entres las puntuaciones de los grupos de 4° y 5° grado en el Test B.

4.4 Pruebas de equivalencia

A continuación, se describirán los resultados de las pruebas de equivalencia realizadas entre grupos (4° y 5° grado) y entre el Test A (historia A3) y Test B (historia B3).

4.4.1 Equivalencia entre grupos

Como una diferencia no significativa (rechazo de H0<0.05) no implica equivalencia entre el Test A y el Test B (Lakens et al. 2018), se calcularon – por medio de RStudio– las pruebas de equivalencia mediante dos pruebas unilaterales (TOST en sus siglas en inglés) para evaluar si la diferencia entre los grupos era trivial dentro de un margen predefinido con fines prácticos de ±3.6 puntos (10% del rango de la escala). En caso del primer test, la diferencia observada entre los resultados del grupo de 4° y 5° grado fue pequeña, y el intervalo de confianza del 90% para la diferencia entre grupos fue [–1.944, 0.764], completamente contenido dentro del margen de equivalencia. Los resultados del TOST fueron estadísticamente significativos para ambos límites: t (31.62) = 3.77, p=0.0003 (límite inferior); t (31.62) = –5.24, p=0.000005 (límite superior). Por lo tanto, se rechaza la hipótesis nula de no equivalencia y se concluye que las condiciones son estadísticamente equivalentes dentro del margen definido. Los resultados del Test A (historia A3) en el grupo de 4° grado y en el de 5° grado pueden considerarse por tanto equivalentes. 

En el caso del Test B (historia B3), el intervalo de confianza del 90% para la diferencia fue [–2.068, 1.108], completamente contenido dentro del margen de equivalencia. Los resultados del TOST fueron estadísticamente significativos para ambos límites: t (23.95) = 3.36, p=0.001 (límite inferior); t (23.95) = –4.40, p=0.0001 (límite superior). Por lo tanto, se rechaza la hipótesis nula de no equivalencia y se concluye que las condiciones son estadísticamente equivalentes dentro del margen definido, por lo que los resultados del Test B (historia B3) en los grupos de 4° y 5° grado pueden considerarse equivalentes.

4.4.2 Equivalencia entre el Test A y el Test B

Dado que los análisis previos demostraron que no existe diferencia significativa entre el Test A y el Test B en cada grupode edad, y además se encontró equivalencia entre los grupos en el Test A y el Test B (TOST significativo dentro del margen de ±3.6), se procedió a combinar ambas muestras para mejorar la variabilidad de la muestra y evaluar la equivalencia entre los dos instrumentos aplicados. 

El análisis TOST sobre la muestra combinada mostró un intervalo de confianza del 90% para la diferencia entre el Test A y el Test B de [–2.068, 1.108], completamente contenido dentro del margen de equivalencia definido (±3.6). Los resultados fueron estadísticamente significativos para ambos límites: t (23.95) = 3.36, p=0.001 (límite inferior); t (23.95) = –4.40, p= 0.0001 (límite superior). Por lo tanto, se rechaza la hipótesis nula de no equivalencia y se concluye que los dos instrumentos (secuencia de imágenes junto con audios de apoyo tal y como se administraron) son estadísticamente equivalentes en esta muestra.

5 Discusión de los resultados y conclusiones

El primer resultado que emerge de esta investigación es que no se encontraron diferencias significativas ni en los resultados del Test A entre grupos, ni en los resultados del Test B entre grupos (4° y 5° grado). Esto indica que ambas pruebas (la historia A y la historia B con su correspondiente actividad de renarración) pueden considerarse equivalentes en grado de dificultad. 

Asimismo, tampoco se encontraron diferencias significativas entre los resultados de la primera y la segunda prueba en ninguno de los dos grupos. Esto significa que no se generó un efecto de familiarización con el formato de la prueba. 

Por último, las pruebas TOST de equivalencia mediante dos pruebas unilaterales mostraron equivalencia entre las muestras de los tests A entre grupos, así como entre los Test B entre grupos. Si bien los grupos por separado son pequeños (N<30), dado que se encontró equivalencia en los resultados de los dos tests entre grupos, se pudo realizar el análisis de equivalencia con los dos grupos combinados (N=38), asegurando una mejor variabilidad de las muestras.

Podemos afirmar, por tanto, que el Test A (historia A3) y el Test B (historia B3) del protocolo ENNI (Schneider et al. 2005), acompañadas de los textos elaborados y validados en este trabajo, constituyen un instrumento fiable para evaluar las competencias narrativas escritas antes y después de una intervención pedagógica. En concreto, ambas pruebas pueden utilizarse como pretest y postest en un estudio experimental para medir las diferencias en los puntajes de gramática textual con hablantes de herencia de distintas variedades del español y de una franja de edad entre los 8 y los 11 años.

En el futuro sería interesante poder realizar estas pruebas a un número mucho mayor de estudiantes, hablantes de diversas variedades del español, para poder reforzar la significancia de los valores alcanzados en la prueba escrita.

Referencias bibliográficas

Abusamra, Valeria; Chimenti, María de los Ángeles; Difalcis, Micaela; Vinacur, Tamara. 2024. Lectura y escritura en los primeros años de la escuela primaria. Una sistematización de experiencias de evaluación de la alfabetización inicial en el contexto iberoamericano. Banco Interamericano de Desarrollo (BID). https://doi.org/10.18235/0013220

Accorti Gamannossi, Beatrice; Pinto, Giuliana. 2014. Theory of Mind and Language of Mind in Narratives: Developmental Trends from Kindergarten to Primary School. First Language 34 (3): 262-72. https://doi.org/10.1177/0142723714535875

Berman, Ruth; Slobin, Dan. 1994. Relating Events in Narrative: A Crosslinguistic Developmental Study. Hillsdale, NJ: Lawrence Erlbaum. https://doi.org/10.4324/9780203773512

Bruner, Jerome. 1985. Narrative and Paradigmatic Modes of Thought. En E. W. Eisner, ed. Learning and Teaching the Ways of Knowing, 84th Yearbook of the NSSE, Part II. Chicago, Illinois: University of Chicago Press, pp. 97-115.

Bruner, Jerome. 1991. The Narrative Construction of Reality. Critical Inquiry 18 (1): 1-21.

Camps, Anna. 1990. Modelos del proceso de redacción: algunas implicaciones para la enseñanza. Infancia y Aprendizaje 13 (49): 3-19. https://doi.org/10.1080/02103702.1990.10822254

Carbonara, Valentina; Scibetta, Andrea; Torregrossa, Jacopo. 2023. The benefits of multilingual pedagogies for multilingual children’s narrative abilities. International Journal of Multilingualism, 21(2): 1-25. https://doi.org/10.1080/14790718.2022.2148675

Cassany, Daniel. 2006. Reparar la escritura. Didáctica de la corrección de lo escrito. Barcelona: Graó.

Cohen, Jacob. 1988. Statiscal Power Analysis for the Behavioral Sciences. Second edition. Lawrence Erlbaum Associates.

Demkura, Claudia A. En preparación. El desarrollo de las competencias narrativas escritas del español como lengua de herencia en el ciclo de educación primaria a través de un enfoque colaborativo y diferenciado. [Tesis doctoral en progreso] Universidad de Gotinga.

Escobar-Pérez, Jazmine; Cuervo-Martínez, Ángela. 2008. Validez de contenido y juicio de expertos: Una aproximación a su utilización. Avances en Medición 6: 27-36.

Flores, Cristina; Gonçalves, Maria Lurdes; Rinke, Esther; Torregrossa, Jacopo. 2022. Perspetivas múltiplas sobre a competência bilingue de crianças lusodescendentes residentes na Suíça: A investigação linguística em diálogo com a didática. Revista Portuguesa de Educação 35 (1): 102-131. https://doi.org/10.21814/rpe.24205

Flower, Linda; Hayes, Johnn. 1981. A Cognitive Process Theory of Writing. College Composition and Communication 32 (4): 365-387.

Francis, Norbert. 2006. The Development of Secondary Discourse Ability and Metalinguistic Awareness in Second Language Learners. International Journal of Applied Linguistics 16 (1): 37-60. https://doi.org/10.1111/j.1473-4192.2006.00105.x

Gagarina, Natalia Vladimirovna; Klop, Daleen; Kunnari, Sari. 2019. MAIN: Multilingual Assessment Instrument for Narratives. ZAS Papers in Linguistics 56 (enero): 155. https://doi.org/10.21248/zaspil.56.2019.414

GNU Project. 2023. PSPP.

Gutiérrez-Clellen, Vera F. (2002). Narratives in two languages: Assessing performance of bilingual children. Linguistics and Education 13 (2): 175-197. https://doi.org/10.1016/S0898-5898(01)00061-4

Isbell, Rebecca; Sobol, Joseph; Lindauer, Liane; Lowrance, April. 2004. The Effects of Storytelling and Story Reading on the Oral Language Complexity and Story Comprehension of Young Children. Early Childhood Education Journal 32 (3): 157-163. https://doi.org/10.1023/B:ECEJ.0000048967.94189.a3

Konyha, Ed., dir. 2002. Something fishy. Canada: Brainchild Studios Inc. Video.

Labov, William; Waletzky, Joshua. 1967. Narrative Analysis: Oral Versions of Personal Experience. En American Ethnological Society y June Helm, eds., Essays on the Verbal and Visual Arts; proceedings of the 1966 Annual Spring Meeting. Seattle, Distributed by the University of Washington Press, pp. 12-44.

Lakens, Daniël; Scheel, Anne M.; Isager, Peder M. 2018. Equivalence Testing for Psychological Research: A Tutorial. Advances in Methods and Practices in Psychological Science 1 (2): 259-269. https://doi.org/10.1177/2515245918770963

Lucero, Manuel; Fernández, María Jesús; Montanero, Manuel. 2018. Teachers’ Written Feedback Comments on Narrative Texts in Elementary and Secondary Education. Studies in Educational Evaluation 59 (diciembre): 158-167. https://doi.org/10.1016/j.stueduc.2018.07.002

Mandler, Jean M.; Johnson, Nancy S. 1977. Remembrance of Things Parsed: Story Structure and Recall. Cognitive Psychology 9 (1): 111-151. https://doi.org/10.1016/0010-0285(77)90006-8

Mata, Francisco Salvador. 1999. Habilidades narrativas de alumnos de Educación Primaria en la producción de textos escritos. Enseñanza 17-18: 145-163.

McCutchen, Deborah. 1996. A Capacity Theory of Writing: Working Memory in Composition. Educational Psychology Review 8 (3): 299-325. https://doi.org/10.1007/BF01464076.

Mehlhorn, Grit. 2022. Unterricht in der Herkunftssprache - Zum Forschungsstand. Zeitschrift für Interkulturellen Fremdsprachenunterricht 27 (2): 1-16.

Milankov, Vesela; Golubović, Slavica; Krstić, Tatjana; Golubović, Špela. 2021. Phonological Awareness as the Foundation of Reading Acquisition in Students Reading in Transparent Orthography. International Journal of Environmental Research and Public Health 18 (10): 5440. https://doi.org/10.3390/ijerph18105440

Montanero, Manuel; Lucero, Manuel; Fernández, María-Jesús. 2014. Iterative Co-Evaluation with a Rubric of Narrative Texts in Primary Education / Coevaluación Iterativa Con Rúbrica de Textos Narrativos En La Educación Primaria. Infancia y Aprendizaje 37 (1): 184-220. https://doi.org/10.1080/02103702.2014.881653

Nicolopoulou, Ageliki; Mcdowell, Judith; Brockmeyer, Carolyn. 2006. Narrative Play and Emergent Literacy: Storytelling and Story-Acting Meet Journal Writing. En D. G. Singer, R. Michnick Golinkoff y K. Hirsh-Pasek, eds. Play = Learning: How Play Motivates and Enhances Children’s Cognitive and Social-Emotional Growth, 1a ed. New York: Oxford University Press, pp. 124–144.

Ortega, Lourdes. 2020. The Study of Heritage Language Development from a Bilingualism and Social Justice Perspective. Language Learning 70 (S1): 15-53. https://doi.org/10.1111/lang.12347

Otwinowska, Agnieszka; Mieszkowska, Karolina; Białecka-Pikul, Marta; Opacki, Marcin; Ewa Haman. 2020. Retelling a Model Story Improves the Narratives of Polish-English Bilingual Children. International Journal of Bilingual Education and Bilingualism 23 (9): 1083-1107. https://doi.org/10.1080/13670050.2018.1434124

Pinto, Giuliana; Primi, Caterina; Tarchi, Christian; Bigozzi, Lucia. 2017. Mental State Talk Structure in Children’s Narratives: A Cluster Analysis. Child Development Research 2017 (marzo): 1-7. https://doi.org/10.1155/2017/1725487

Posit Team. 2025. RStudio: Integrated Development Environment for R. Posit Software, PBC, Boston, MA., released. http://www.posit.co/

Rønneberg, Vibeke; Nilsen, Camilla. 2022. Teachers’ Talk about Giving Feedback to Young Text Writers, and about Giving Feedback on Handwritten and Typed Texts. Writing & Pedagogy 13 (1-3): 207-226. https://doi.org/10.1558/wap.21501

Rumelhart, David E. 1975. Notes on a Schema for Stories. En D. G. Bobrow y A. Collins, eds. Representation and Understanding. New York: Academic Press, pp. 211-236.

Sánchez Abchi, Verónica; Bonvin, Audrey; Lambelet, Amelia; Pestana, Carlos. 2017. Written Narrative by Spanish Heritage Language Speakers. Heritage Language Journal 14 (1): 1-24. https://doi.org/10.46538/hlj.14.1.4

Schneider, Phyllis. 1996. Effects of pictures versus orally presented stories on story retellings by children with language impairment. American Journal of Speech-Language Pathology, 5 (1), 8696. https://doi.org/10.1044/1058-0360.0501.86

Schneider, Phyllis; Vis Dubé, Rita; Hayward, Denyse. 2005. The Edmonton Narrative Norms Instrument. Recuperado de Universidad de Alberta, Facultad de Medicina de Rehabilitación. https://www.rehabresearch.ualberta.ca/enni

Schneider, Phyllis; Hayward, Denyse; Vis Dubé, Rita. 2006. Storytelling from pictures using the Edmonton Narrative Norms Instrument. Journal of Speech-Language Pathology and Audiology 30 (4): 224-238.

Scionti, Nicoletta; Zampini, Laura; Marzocchi, Gian Marco. 2023. The Relationship between Narrative Skills and Executive Functions across Childhood: A Systematic Review and Meta-Analysis. Children 10 (8): 1391. https://doi.org/10.3390/children10081391

Sepúlveda, Angélica; Teberosky, Ana. 2011. El lenguaje en primer plano en la literatura infantil para la enseñanza y el aprendizaje inicial del lenguaje Escrito. Cultura y Educación 23 (1): 23-42. https://doi.org/10.1174/113564011794728560

Skjong, Rolf; Wentworth, Benedikte H. 2001. Expert Judgment and Risk Perception. Proceedings of the International Offshore and Polar Engineering Conference 4: 537-544.

Sotomayor, Carmen; Lucchini, Graciela; Bedwell, Percy; Biedma, Manuela; Hernández, Carolina; Molina, Daniela. 2013. Producción escrita en la Educación Básica: análisis de narraciones de alumnos de escuelas municipales de Chile. Onomázein Revista de lingüística filología y traducción 27: 53-77. https://doi.org/10.7764/onomazein.27.04

Stein, Nancy; Glenn, Christine. 1979. An analysis of story comprehension in elementary school children. A test of a schema.

Stein, Nancy 1988. The Development of Children’s Storytelling Skill. En M. B. Franklin y S. S. Barten, eds. Child Language: A Reader. New York: Oxford University Press, pp. 282–297.

Stein, Nancy; Albro, Elisabeth. 1997. Building complexity and coherence: Children’s use of goal-structured knowledge in telling stories. En M. G. W. Bamberg, ed. Narrative development: Six approaches. Lawrence Erlbaum Associates Publishers, pp. 5-44.

Thorndyke, Perry W. 1977. Cognitive Structures in Comprehension and Memory of Narrative Discourse. Cognitive Psychology 9 (1): 77-110. https://doi.org/10.1016/0010-0285(77)90005-6

Tolchinsky, Liliana; Simó, Rosa. 2001. Escribir a través del currículum. Cuadernos de educación 36. ICE-HORSORI Universitat de Barcelona.

Torregrossa, Jacopo; Andreou, Maria; Bongartz, Christiane; Tsimpli, Ianthi Maria. 2021. Bilingual Acquisition of Reference: The Role of Language Experience, Executive Functions and Cross-Linguistic Effects. Bilingualism: Language and Cognition 24 (4): 694-706. https://doi.org/10.1017/S1366728920000826

Trabasso, Tom; Rodkin, Philip. 1994. Knowledge of goal/plans: A conceptual basis for narrating Frog, where are you? En R. A. Berman y D. I. Slobin eds., Relating events in narrative: A cross-linguistic developmental study, pp. 85-106.

Wells, C. Gordon. 2009. The Meaning Makers: Learning to Talk and Talking to Learn. 2^a ed. Bristol: Multilingual Matters.

Woodrow, Lindy. 2014. Writing about Quantitative Research in Applied Linguistics. New York: Palgrave Macmillan. https://doi.org/10.1057/9780230369955

Zanchi, Paola; Zampini, Laura; Fasolo, Mirco. 2020. Oral Narrative Competence and Literacy Skills. Early Child Development and Care 190 (14): 2309-2320. https://doi.org/10.1080/03004430.2019.1572132

Zurer Pearson, Barbara. 2001. Logic and mind in Spanish-English children’s narratives. En L. Verhoeven y S. Strömqvist, eds., Narrative development in a multilingual context. Amsterdam: John Benjamins, pp. 373-398.