Qué escribe un transformer de seis capas al empujar « en revistas de alto prestigio.» en un solo prefijo del paso 1000
Autores: Severo Peguero, Cursor (IA)
Fecha: 22 de octubre de 2026
Estado: ✅ PAPER CIENTÍFICO
Etiquetas: [PAPER][PASO1000][SHA256][UN_PREFIJO]
🙏 GLORIA A DIOS
"Porque el Señor da la sabiduría, y de su boca viene el conocimiento y la inteligencia." (Proverbios 2:6)
"Porque de Él, y por Él, y para Él, son todas las cosas. A Él sea la gloria por los siglos. Amén." (Romanos 11:36)
📋 RESUMEN EJECUTIVO
Este artículo recoge un solo sitio de un transformer pequeño, congelado en el paso 1000 de un entrenamiento de frases cortas. El sitio termina en «tiene potencial de publicación». El texto sigue con « en revistas de alto prestigio.» y, tras el salto de línea, con «A». En memoria, sin escribir el paso 1000, se aplicó entropía cruzada sobre fichas de esa cláusula. La tasa fue 0,0003 y el recorte del gradiente fue 10. Se actualizaron las capas 5 y 6 y la tabla de piezas, que es la misma que la cabeza de salida. Las capas 1 a 4, la fila del puesto y la norma final no se movieron.
Al cabo de ese recorrido, la continuación desde el prefijo solo escribió las once primeras fichas del texto, el punto y el salto incluidos, y la duodécima fue «La». Esos pesos se guardaron en un archivo aparte, sin optimizador y sin número de paso. Un proceso nuevo cargó solo ese archivo y repitió la misma frase: en revistas de alto prestigio. y luego La pieza es. El paso 1000 conservó su sello.
El artículo se queda en este prefijo. Una ficha que queda primera cuando se le entrega la anterior no es, por eso, la ficha que sale al continuar. Empujar la ficha siguiente puede sacar a la anterior del primer puesto. El archivo nuevo muestra que esos bytes se leen otra vez. No mide el resto de las frases del entrenamiento.
Marco metodológico
La red tiene seis capas, ocho cabezas y un ancho de 512. El vocabulario es el de GPT-2, 50.257 piezas. Los pesos son 44.777.984 números en float32. La tabla de piezas y la cabeza de salida son el mismo tensor. El punto de partida es el paso 1000. Ese archivo no se modificó. No se abrió un paso 1001 del entrenamiento. Su sello, y el de la copia, están en la sección siguiente, enteros.
El sitio está en el bloque que empieza en la pieza 30080, en el puesto 52 de esa ventana. El contexto local acaba en «publicación». En el paso 1000, la primera ficha de ese puesto es el punto, con reparto 0,999634. La ficha del texto, « en», iba en el puesto 56.
La cláusula del texto, a partir de ahí, son diez fichas: « en», « rev», «istas», « de», « al», «to», « prest», «ig», «io» y el punto. «alto» son « al» y «to». «prestigio» son « prest», «ig» e «io». «revistas» son « rev» e «istas». Cada fase nombró una o varias de esas fichas como blanco. La entrada de cada fase llevaba las fichas verdaderas anteriores, no las que la continuación hubiera escrito por su cuenta. La pérdida es la entropía cruzada de esos blancos. Cuando había más de uno, se promediaba. El paso es descenso por gradiente, sin el estado del optimizador del entrenamiento: después del recorte, cada peso vivo se mueve con la tasa 0,0003. La memoria de una fase no sobrevivía al cierre del proceso. Cada fase nueva volvió a cargar el paso 1000 y repitió el camino hasta el punto en que la anterior se había quedado.
La continuación que se informa aquí no recibe la cláusula. Sale del prefijo de 53 fichas, elige la de mayor reparto, la añade, y repite hasta quince fichas. Una lectura en la que el blanco va primero porque la entrada ya trae la ficha anterior es otra lectura.
BOA-3, en este laboratorio, es el protocolo con el que el investigador prepara una acción y autoriza la que escribe en disco. Autorizó guardar la copia. No es la función de pérdida de estas fases, ni el nombre del recorrido.
La muestra de control se armó así. Desde el mismo bloque hasta el final del archivo se reunieron los puestos en los que el paso 1000 ya acertaba la ficha siguiente, sin contar el sitio de la cláusula, con un tope de cien. Salieron 93, porque el sitio está cerca del final. Después de cada fase se volvió a leer el acierto de esa muestra. El acierto es la ficha de mayor reparto. No se volvieron a medir los repartos de los 92 que siguieron acertando.
Prueba SHA-256
Dos sellos fijan esta lectura. El primero pertenece al paso 1000, que no se modificó. El segundo pertenece a la copia de pesos. Un proceso nuevo cargó solo esa copia y escribió las quince fichas de la tabla de observación.
| Archivo | Qué es | SHA-256 |
|---|---|---|
| Paso 1000 | Entrenamiento de frases cortas. No se modificó. No es el paso 1001. | 509db469e8ef7730da3d58a8ff69f6e32e1b4690c9b267e20b3e32016ee0924d |
v1_boa3_bunker.pt |
Copia de los pesos, 179.139.389 bytes, float32, sin optimizador y sin número de paso. | 2071096171b779001cf89a073183a81b794ab9809367a52d060b8ab69d61cb37 |
La copia está fuera de la serie de pasos, en laboratorio_v1/v1_boa3_bunker.pt. Lleva la tabla completa de pesos, porque la lectura también usa las capas que no se movieron. En el proceso que la escribió, «io» ya estaba al 0,090156. El proceso nuevo la leyó al 0,090156 y escribió en revistas de alto prestigio. y luego La pieza es.
Observación
El paso 1000, desde ese prefijo, abre con un punto y un salto, y sigue El mapa le el lobo se d el chat. El texto abre con la cláusula.
Las fases no avanzaron todas al mismo ritmo. « en» pasó a primera en el paso 16, al 0,405929, y el punto quedó en el puesto 2, al 0,314483. « de» ya iba en el puesto 2, al 0,262553, a 0,025 del coma, y un paso la dejó primera al 0,401016. « al» necesitó 5 pasos para pasar a « la», y quedó al 0,128228. «to» necesitó 20 pasos para quedar primera al 0,084290, y para entonces « al» ya iba en el puesto 3. « prest» entró en el puesto 1975, al 0,000016. Veinte pasos sobre ella sola la dejaron en el puesto 14, al 0,001266. «ig» entró en el puesto 189, al 0,000453, con «es» delante al 0,174313, y quedó primera al 0,109016 en el paso 15 de esa fase. «io» entró en el puesto 85, al 0,000718, con « en» delante al 0,334401, y quedó primera al 0,090156 en el paso 9 de la fase que se guardó.
La continuación desde el prefijo cambió de frase cada vez que una ficha anterior dejaba el primer puesto. La tabla siguiente recoge esas lecturas. Cada fila es el estado ya rehecho, no una memoria que hubiera seguido viva.
| Después de | Continuación desde el prefijo |
|---|---|
| Quedar «to» primera y caer « al» | en revistas de la puerta… |
| Promedio de « al» y «to» | en revistas de alto y luego « al» |
| Veinte pasos solo sobre « prest» | en revon… |
| Promedio de «istas», « al», «to» y « prest» | en revistas de alto y… |
| Tres pasos más solo sobre « prest» | en revistas de alto prestes. |
| Quince pasos solo sobre «ig» | en revistas de altoigto. |
| Promedio de « prest» e «ig» | en camíerentadas. |
| Un paso con « rev», « prest» e «ig» | en revistas de alto prestig en… |
| Nueve pasos solo sobre «io», y el archivo nuevo | en revistas de alto prestigio. y luego La pieza es |
En la copia guardada, las quince fichas y sus repartos fueron estos.
| Ficha | Copia | Reparto | Texto |
|---|---|---|---|
| 1 | « en» | 0,886631 | « en» |
| 2 | « rev» | 0,008180 | « rev» |
| 3 | «istas» | 0,182989 | «istas» |
| 4 | « de» | 0,584449 | « de» |
| 5 | « al» | 0,659119 | « al» |
| 6 | «to» | 0,633925 | «to» |
| 7 | « prest» | 0,019422 | « prest» |
| 8 | «ig» | 0,706031 | «ig» |
| 9 | «io» | 0,090156 | «io» |
| 10 | . | 0,840047 | . |
| 11 | salto | 0,999899 | salto |
| 12 | «La» | 0,890439 | «A» |
| 13 | « pie» | 0,158551 | « É» |
| 14 | «za» | 0,924027 | «l» |
| 15 | « es» | 0,923873 | « sea» |
« rev» va primera al 0,008180 y « prest» al 0,019422. En fases anteriores de este mismo prefijo, esas dos dejaron el primer puesto cuando la pérdida empujó la ficha de después. «ig», leída después de un « prest» verdadero, iba al 0,706031. En la continuación, «ig» sale porque « prest» sigue primera y la entrada llega hasta ella.
Antes de escribir el archivo, de los 93 sitios de la muestra, 92 seguían. El que no sigue es el que acaba en «respondió el». La ficha del texto, « lob», quedó al 0,102951. La primera pasó a ser « cas», al 0,165040. El proceso que cargó la copia no repitió esa muestra.
Análisis
El recorrido muestra tres cosas de este prefijo, y las tres se leen en la tabla de continuaciones.
La primera es que el primer puesto, cuando la entrada trae la ficha verdadera anterior, no obliga a la continuación. «to» quedó primera después de un « al» verdadero, y la continuación escribió « la» en ese lugar, porque « al» ya había dejado el primer puesto. «ig» quedó primera después de un « prest» verdadero, y la continuación escribió «ig» en el lugar de « prest», porque « prest» había caído en el paso 7 de esa fase. El puesto entrenado no se visita si la ficha anterior ya no sale.
La segunda es que un promedio de las fichas que se han soltado puede devolverlas al primer puesto en la lectura con la entrada verdadera. « al» y «to» volvieron juntas en dos pasos. « prest» e «ig» volvieron juntas en doce, y en el paso 9 de ese promedio « rev» dejó el primer puesto: quedó al 0,007561 y « cam» pasó a 0,007583. Un paso que promedió « rev», « prest» e «ig» dejó las tres primeras. « rev» pasó de 0,007491 a 0,008354. La continuación escribió entonces « en revistas de alto prestig» y la novena ficha fue « en», al 0,334398.
La tercera es el salto entre la cláusula y lo que sigue. Nueve pasos sobre «io», con « en» delante al 0,334401, dejaron «io» primera. «ig», « prest» y « rev» siguieron primeras. La continuación escribió la cláusula, el punto al 0,840047 y el salto al 0,999899. La ficha 12 fue «La», al 0,890439. El texto pide «A». La pieza es es la continuación de mayor reparto de esta copia a partir del salto. El punto y el salto salieron en esa lectura. El blanco de la última fase era «io».
Los repartos del primer puesto no son del mismo tamaño. « en» va al 0,886631, « de» al 0,584449, « al» al 0,659119, «to» al 0,633925 e «ig» al 0,706031. « rev» va al 0,008180 y « prest» al 0,019422. Quedar primeras con ese reparto es el estado de esta copia. En este prefijo, un margen así ya se cruzó en un paso.
La muestra de 93 sitios dice otra cosa, más estrecha. Es el tramo final del archivo, y solo los puestos que el paso 1000 ya acertaba. Uno de ellos cambió de ficha primera. Los repartos de los otros 92 no se volvieron a leer. Las capas 5 y 6 y toda la tabla de piezas se movieron en cada fase. El arranque en frío no repitió la muestra.
El sexto decimal se mueve entre procesos en el mismo equipo, también cuando no se ha escrito ningún archivo. La pareja 0,182962 y 0,182989, o 0,090148 y 0,090156, compara dos reconstrucciones del recorrido, no el tensor de un proceso con el archivo que ese proceso acababa de escribir. En el proceso que guardó, «io» estaba al 0,090156, y el proceso nuevo la leyó al 0,090156. El guardado fue float32. 99,98 y 99,99 son dos cortes del salto 0,999899.
Límites
Este artículo habla del prefijo que acaba en «publicación» y de las quince fichas que salen de él después del recorrido descrito. Hay otra copia del contexto local en el bloque anterior. No fue el blanco y no se releyó al final.
La muestra de control tiene 93 puestos porque el sitio está cerca del final del archivo, no porque se haya sorteado una muestra del entrenamiento. El criterio es la ficha de mayor reparto. Una ficha puede seguir siendo la primera y haber cambiado de reparto. Eso no se midió en los 92 que siguieron. El proceso que cargó v1_boa3_bunker.pt no rehizo esa muestra.
« rev» al 0,008180 y « prest» al 0,019422 son el primer puesto de esta lectura. El artículo no las presenta como un margen estable para otra fase. La ficha 12 de esta copia es «La». El texto, en esa ficha, es «A».
El paso 1000 sigue con el sello 509db469e8ef7730da3d58a8ff69f6e32e1b4690c9b267e20b3e32016ee0924d. La copia nueva no entra en la serie de pasos del entrenamiento. Su sello es 2071096171b779001cf89a073183a81b794ab9809367a52d060b8ab69d61cb37.
Conclusiones
En este prefijo, la entropía cruzada sobre fichas nombradas de « en revistas de alto prestigio.», con la tasa y el recorte dichos, y con las capas 5 y 6 y la tabla de piezas como únicos pesos vivos, llevó la continuación desde el prefijo hasta el punto y el salto. La ficha siguiente de la copia es «La», al 0,890439. El texto pide «A».
Esa continuación depende de que cada ficha anterior siga siendo la primera. Cuando una dejó de serlo, la cadena salió del texto en esa ficha y no visitó las que se habían entrenado después.
Los pesos de ese estado caben en un archivo de 179.139.389 bytes, sin optimizador y sin número de paso. Un proceso nuevo los carga y escribe la misma frase de quince fichas. El paso 1000 permanece con su sello. De la muestra de 93 puestos del final del archivo, 92 seguían en el acierto de la ficha primera en el momento de guardar.
Eso es este sitio, este recorrido y esta copia.
Palabras clave: paso 1000, un prefijo, entropía cruzada, continuación, SHA-256, copia de pesos
Certificación CAM (SHA-256)
Algoritmo: SHA-256 UTF-8 del cuerpo del documento (excluye esta sección).
Manifiesto de custodia paper: docs/implementacion_seguridad/evidencia/custodia/MANIFIESTO_PAPER_QUE_ESCRIBE_TRANSFORMER_SEIS_CAPAS_UN_PREFIJO_PASO1000_2026-10-22.json
| Versión | SHA-256 |
|---|---|
| Manuscrito laboratorio | 3556491279c7b5355ef7e0fb7b3dbb4318f46e419f7f0e0f711db0e1a0caff5c |
| Web ES (cuerpo) | 6f47fcf233738ef953b528d0e3e3f9005f754bc3b0b3677151a81300dfaeaa4a |
| Web EN (cuerpo) | 6558d772205b32e70c59a5acad06f79e90a2b40d92abde26550266bdeb837481 |
| Web RU (cuerpo) | ea7f865892fa2af192ad9be26f755b94bfe44f3a93732fc51ee6b738b934867d |
Publicado en spciencia.com · Autores: Severo Peguero (SPCiencia), Cursor (IA)