W środę Meta zaprezentowała nową generację Meta Training and Inference Accelerator (MTIA), rodzinę niestandardowych chipsetów do obciążeń związanych ze sztuczną inteligencją (AI). Aktualizacja chipsetu AI następuje prawie rok po wprowadzeniu przez firmę pierwszych chipów AI. Te akceleratory wnioskowania będą zasilać istniejące i przyszłe produkty, usługi i sztuczną inteligencję giganta technologicznego na platformach mediów społecznościowych. W szczególności Meta podkreśliła, że możliwości chipsetu zostaną wykorzystane do obsługi modeli rankingowych i rekomendacyjnych.
Ogłoszenie za pośrednictwem swojego post na bloguMeta powiedziała: „Następna generacja wielkoskalowej infrastruktury Meta jest budowana z myślą o sztucznej inteligencji, co obejmuje obsługę nowych produktów i usług generatywnej sztucznej inteligencji (GenAI), systemów rekomendacji i zaawansowanych badań nad sztuczną inteligencją. Oczekujemy, że jest to inwestycja, która będzie rosła w nadchodzących latach, ponieważ wymagania obliczeniowe niezbędne do obsługi modeli sztucznej inteligencji będą rosnąć wraz ze stopniem ich zaawansowania”.
Według Meta nowy chip AI oferuje znaczną poprawę zarówno w zakresie wytwarzania energii, jak i wydajności dzięki ulepszeniom architektury. Następna generacja MTIA podwaja przepustowość obliczeniową i pamięci w porównaniu do swojej poprzedniczki. Może również służyć modelom rekomendacji Meta, których używa do personalizowania treści dla swoich użytkowników na swoich platformach mediów społecznościowych.
Jeśli chodzi o sprzęt chipsetu, Meta stwierdziła, że system ma konstrukcję stelażową, która mieści do 72 akceleratorów, przy czym trzy obudowy zawierają 12 płytek, a każda z nich mieści dwa akceleratory. Procesor taktowany jest z częstotliwością 1,35 GHz, czyli znacznie szybciej niż jego poprzednik z częstotliwością 800 MHz. Może również pracować z wyższą mocą wyjściową 90 W. Struktura między akceleratorami a hostem została również zmodernizowana do PCIe Gen5.
Stos oprogramowania to miejsce, w którym firma wprowadziła główne ulepszenia. Chipset został zaprojektowany tak, aby był w pełni zintegrowany z PyTorch 2.0 i powiązanymi funkcjami. „Kompilator niższego poziomu dla MTIA pobiera dane wyjściowe z frontendu i tworzy wysoce wydajny kod dostosowany do konkretnego urządzenia” – wyjaśniła firma.
Dotychczasowe wyniki pokazują, że ten układ MTIA może obsługiwać zarówno modele rankingowe i rekomendacyjne o niskiej złożoności (LC), jak i o wysokiej złożoności (HC), które są składnikami produktów Meta. W przypadku tych modeli może występować ~10x-100x różnica w rozmiarze modelu i ilości obliczeń na próbkę wejściową. Ponieważ kontrolujemy cały stos, możemy osiągnąć większą wydajność w porównaniu do dostępnych na rynku procesorów graficznych. Uświadomienie sobie tych korzyści wymaga ciągłego wysiłku i stale poprawiamy wydajność na wat w miarę tworzenia i wdrażania chipów MTIA w naszych systemach.
Wraz z rozwojem sztucznej inteligencji wiele firm technologicznych koncentruje się obecnie na produkcji niestandardowych chipsetów AI, które mogą zaspokoić ich szczególne potrzeby. Procesory te oferują ogromną moc obliczeniową serwerów, co umożliwia im dostarczanie produktów takich jak chatboty AI i narzędzia AI do określonych zadań.
