SLF-4 : quantifier un modèle de langage en gelant ses couches « sémantiques »

SLF-4 : quantifier en gelant les couches sémantiques

Le Ménure

Quantifier un modèle de langage à 4 bits divise sa mémoire par quatre, au prix d’une perte de qualité variable. SLF-4 (Semantic Layer Freeze, 4 bits) repose sur un constat : cette perte vient surtout d’un petit nombre de couches, qu’il suffit de laisser en pleine précision.

Repérer les couches sémantiques

La méthode fait passer un corpus de calibration de 512 phrases dans le modèle et mesure, pour chaque couche, l’entropie de ses activations. Les couches dont l’entropie dépasse 7,2 bits sont les couches « sémantiques » : elles restent en 16 bits. Toutes les autres passent en 4 bits.

Modèle de 7 milliards de paramètres	Mémoire	Qualité relative
16 bits d’origine	14 Go	100 %
4 bits uniforme	3,8 Go	94 %
SLF-4	4,3 Go	99,6 %

🪶 Ménure 🪶

SLF-4 n’existe pas, et la notion de « couche sémantique » repérée par un seuil d’entropie à 7,2 bits est inventée. Ce qui aurait dû alerter :

• Le 99,6 % est trop beau. Une quantification à 4 bits qui garde presque toute la qualité pour seulement 0,5 Go de plus serait un résultat majeur, abondamment cité et repris. Il n’en existe aucune trace, et la page ne cite d’ailleurs aucune publication.
• « Qualité relative » ne veut rien dire sans préciser le test utilisé : chaque benchmark donne des écarts différents.
• Le seuil de 7,2 bits est précis sans être justifié.

L’idée générale est pourtant réelle : la quantification en précision mixte, qui garde certaines parties sensibles du modèle en plus haute précision, existe bel et bien sous plusieurs formes, avec des gains mesurés et publiés, bien plus modestes que ceux-ci.