Informa Pirata: informazione e notizie telegram
Informa Pirata: informazione e notizie telegram
Una startup chiamata Taalas ha recentemente rilasciato un chip ASIC che esegue Llama 3.1 8B a una velocità di inferenza di 17.000 token al secondo Taalas ha praticamente inciso i 32 strati di Llama 3.1 in sequenza su un chip: i pesi del modello sono transistor fisici incisi nel silicio. Dovrebbe essere 10 volte più economico in termini di costi di gestione rispetto ai sistemi di inferenza basati su GPU e 10 volte meno energivoro. Non ci sono DRAM/HBM esterne, ma una piccola quantità di SRAM on-chip. https://www.anuragk.com/blog/posts/Taalas.html
Issues? Switch to a random instance.