2024
ICML
ICML 2024
Scaling Laws for Fine-Grained Mixture of Experts
Authors
Jan Ludziejewski
,
Jakub Krajewski
,
Kamil Adamczewski
,
Maciej Pióro
,
Michał Krutul
,
Szymon Antoniak
,
Kamil Ciebiera
,
Krystian Król
,
Tomasz Odrzygóźdź
,
Piotr Sankowski
,
Marek Cygan
,
Sebastian Jaszczur