distillation

Addestrare un modello più piccolo ed economico a imitare l output di uno più grande. La distillation 1B del nostro modello 70B gira benissimo su un laptop. Cruciale per spedire IA on-device, edge inference e riduzione costi. Trade-off: i modelli distillati perdono il ragionamento sfumato che il modello padre sapeva fare.