NPU چیست؟ مقایسه پردازشگر هوش مصنوعی با CPU و GPU

هوش مصنوعی در حال تغییر دنیای اطراف ماست و پیش‌بینی می‌شود طی سال‌های آینده بخش بزرگی از رشد اقتصادی جهان توسط AI رقم بخورد. از طرفی تقاضا برای اجرای برنامه‌های هوش مصنوعی روی کامپیوترهای شخصی و دستگاه‌های قابل حمل مثل لپتاپ و گوشی‌های هوشمند نیز در حال افزایش است. اینجاست که پردازشگر هوش مصنوعی یا پردازنده NPU برای آوردن قابلیت‌های هوش مصنوعی به دستگاه‌های مصرفی پا به عرصه می‌گذارد. در این مقاله واحد پردازش عصبی را معرفی کرده و از تفاوت‌ها و شباهت‌های آن با CPU و GPU خواهیم گفت.

فهرست مطالب این مقاله:

– مقدمه

– پردازش شتاب يافته

– پردازنده NPU

– مقايسه NPU با CPU

– مقايسه NPU با GPU

– جمع‌بندی

– سوالات پرتكرار

مقدمه

طی چند سال اخیر، هوش مصنوعی به نیروی پیشران نوآوری در دنیای فناوری تبدیل شده. الگوریتم‌های هوش مصنوعی مثل یادگیری ماشینی (Machine Learning) و یادگیری عمیق (Deep Learning) هر روز بیشتر در حل مسائل پیچیده و تحلیل داده‌های بزرگ به کا می‌روند. از طرفی ظهور مدل‌های زبانی بزرگ یا LLM مثل ChatGPT، هوش مصنوعی را به زندگی روزمره بسیاری از ما آورده و باعث شده AI دیگر فقط یک اصطلاح بازاریابی یا موضوع پروژ‌ه‌های دانشگاهی نباشد.

واحد پردازش عصبی یا NPU نیز نوع جدیدی از شتاب‌دهنده‌ها است که برای اجرای برنامه‌های هوش مصنوعی ساخته شده‌‌. در ادامه این مقاله ابتدا پردازش شتاب‌یافته و پردازنده NPU را معرفی می‌کنیم و سپس به مقایسه NPU با CPU و GPU می‌پردازیم.

پردازش شتاب یافته

برای درک بهتر نحوه کار CPU می‌توان آن را به صورت یک دستگاه با ورودی و خروجی دید. CPU بعد از دریافت یک درخواست ورودی، به حافظه مراجعه می‌کند تا داده‌ها و دستورالعمل‌های لازم برای پاسخ به ورودی را بیاید و پس از انجام محاسبات و ذخیره جواب‌ها در حافظه، پاسخ لازم را در قالب خروجی ارائه می‌کند. فرایند توضیح داده شده که CPUهای امروزی بر اساس آن کار می‌کنند به معماری «فون نیومان» معروف است و اولین بار توسط دانشمند آمریکایی-مجارستانی به همین نام در سال 1945 مطرح شد.

همانطور که گفته شد، پردازنده برای دریافت دستور‌العمل‌ها، بارگذاری داده‌ها و ذخیره نتایج به حافظه مراجعه می‌کند و گذرگاه یا Bus که وظیفه انتقال داده‌ها میان پردازنده و حافظه را دارد، بین دستورالعمل‌ها و حافظه مشترک است. همین موضوع می‌تواند باعث ایجاد محدودیت در عملکرد سیستم شود که به آن «گلوگاه فون نیومان» یا «Von Neumann bottleneck» گفته می‌شود.

در گذشته به دلیل عملکرد کندتر پردازنده‌ها در مقایسه با حافظه، این گلوگاه مشکلی در عملکرد سیستم ایجاد نمی‌کرد اما با بهبود سرعت CPU و ظهور پردازنده‌های چند هسته‌ای از یکسو و نیاز بیشتر بارهای پردازشی جدید مثل گرافیک، پردازش ویدئو و هوش مصنوعی به قدرت محاسباتی و پهنای باند حافظه بالا از سوی دیگر، لزوم توجه به گلوگاه حافظه بیش از پیش خود را نشان می‌دهد.

یک راه حل، استفاده از تراشه‌هایی است که برای انجام نوع خاصی از محاسبات بهینه شده‌اند. این پردازنده‌ها برخلاف CPU یک محاسبه‌گر همه منظوره نیستند؛ به این معنی که توانایی انجام بسیاری از دستورالعمل‌ها را ندارند اما در انجام وظایفی که برای آن طراحی شده‌اند، بسیار بهتر از پردازنده مرکزی عمل می‌کنند. در این مواقع واحد کنترل CPU وظیفه انجام این نوع محاسبات را به شتاب‌دهنده‌های کمکی می‌سپارد.

واحد پردازش گرافیک یا GPU

یکی از اولین کاربردهایی که استفاده از پردازنده‌های کمکی شتاب‌دهنده در آنها رواج یافت، محاسبات گرافیکی بودند. در محاسبات مربوط به گرافیک باید محاسبات لازم برای تعداد زیادی از پیکسل‌ها انجام شود.

یکی از ویژگی‌های بارهای پردازشی گرافیکی این است که در آنها یک دستورالعمل باید برای تعداد زیادی از داده‌های ورودی انجام شود که در علوم کامپیوتر به این نوع پردازش موازی Single Instruction Multiple Data یا SIMD گفته می‌شود. به همین دلیل ساختار هسته‌های گرافیکی یا پردازنده‌های جریانی (SM) به گونه‌ای است که یک واحد کنترل، وظیفه تخصیص وظایف به تعداد زیادی ALU را بر عهده دارد. همین ساختار موجب می‌شود بخش بسیار بیشتری از تراشه به واحدها محاسباتی ALU اختصاص یابد و GPU را به پردازنده‌هایی ایده‌آل برای پردازش موازی تبدیل می‌کند.

تا مدت‌ها از توان محاسباتی بالای GPU تنها برای اجرای برنامه‌های گرافیکی مانند بازی‌ها استفاده می‌شد تا اینکه Nvidia، یکی از بازیگران مطرح بازار کارت گرافیک، پلتفرم اختصاصی پردازش موازی خود به نام CUDA را معرفی کرد. کودا به برنامه‌نویسان اجازه می‌داد از دستورالعمل‌ها و تعداد زیاد هسته‌های پردازشی گرافیک برای اجرای برنامه‌های غیر گرافیکی که با پردازش موازی SIMD سازگار بودند، استفاده کنند.

همین اقدام، CUDA و پردازنده‌های انویدیا را برای مدت‌ها به گزینه اصلی برای انجام محاسبات سنگین که به پردازش موازی احتیاج داشتند تبدیل کرد به گونه‌ای که اولین مدل‌های یادگیری عمیق با استفاده از GPUهای انویدیا توسعه داده شدند.

در همین رابطه بخوانید:

–تاریخچه پردازنده گرافیکی و کارت گرافیک (از 1951 تا به امروز)

– هسته CUDA (کودا) چیست و چه وظایفی در پردازنده گرافیکی دارد؟

البته امروزه پلتفرم‌های متن باز مثل OpenCL نیز توسعه داده شده‌اند که امکان اجرای پردازش موازی روی GPUهای انویدیا و سایر شرکت‌ها از جمله AMD و اینتل را نیز فراهم می‌کنند.

واحد پردازش عصبی یا NPU

اجرای الگوریتم‌های هوش مصنوعی به محاسبات پیچیده‌ای احتیاج ندارد. اما به تعداد بسیار زیادی از این محاسبات نیاز است. خیلی زیاد!

ماتریس در مثال گفته شده‌، حالت خاصی از یک تنسور است که می‌تواند ابعاد بالاتری نیز داشته باشد. با بزرگ‌تر و پیچیده‌تر شدن شبکه عصبی، تعداد محاسبات لازم برای محاسبه خروجی شبکه نیز به شکل تصاعدی افزایش می‌یابد.

نوعی از محاسبات ماتریسی که در شبکه‌های عصبی کاربرد زیادی دارند با نام «General Matrix Multplication» یا به اختصار GEMM شناخته می‌شوند.

همانطور که گفتیم اجرای الگوریتم‌های هوش مصنوعی به محاسبات پیچیده‌ای احتیاج ندارد. اما به تعداد بسیار زیادی از این محاسبات نیاز است.

ساختار واحد پردازش عصبی (NPU)

حال که با ساختار محاسبات هوش مصنوعی آشنا شدیم می‌توانیم حدس بزنیم که پردازشگرهای هوش مصنوعی چه ویژگی‌هایی باید داشته باشد و وظایف NPU در هوش مصنوعی چیست:

1. واحد پردازش عصبی باید برای قدرت پردازش موازی لازم برای انجام محاسبات تنسور بیشماری را داشته باشند این به معنای آن است که درست مثل GPU، به تعداد زیادی هسته محاسباتی ALU نیاز است. تعداد محاسبات لازم برای اجرای مدل‌های هوش مصنوعی جدید آنقدر زیاد است که توان محاسباتی NPU و GPU را با «تریلیون عملیات در ثانیه» یا TOPS بیان می‌کنند.
2. انجام انبوه محاسبات تنسور به انتقال حجم عظیمی از اطلاعات بین پردازنده NPU و حافظه رم احتیاج دارد. به همین دلیل این پردازنده‌ها باید از انواع سلسله مراتب حافظه پشتیبانی کنند و حجم و پهنای باند حافظه بالایی داشته باشند. دلیل رواج استفاده از حافظه‌های HBM در ساخت پردازشگرهای هوش مصنوعی نیز همین موضوع است.
3. این پردازنده‌ها باید برای انجام عملیات ماتریسی بهینه شوند و بتوانند از ترفندهای محاسباتی برای تسریع روند پردازش استفاده کنند. به عنوان مثال می‌توان به ماتریس‌های تُنُک یا Sparse اشاره کرد که تعداد زیادی از اِلِمان‌های آنها صفر است و می‌توان با در نظر گرفتن آنها تعداد عملیات ریاضی لازم را به شکل محسوسی کاهش داد.
4. پردازنده NPU باید توان پشتیبانی از انواع داده‌ها با دقت کمتر مثل INT8 را داشته باشند چراکه برخلاف گرافیک، اغلب در محاسبات عصبی نیازی به استفاده از داده‌های با دقت بالا مثل اعداد ممیز شناور FP64 و FP32 نیست. این مسئله در پست وبلاگ گوگل برای معرفی نسل اول پردازنده‌های تنسور این شرکت به خوبی توضیح داده شده است:

اگر باران در حال باریدن باشد، ممکن است این سوال برایتان پیش بیاید که بارش باران شدید است یا نَم‌نَم و برای رسیدن به پاسخ این سوال نیازی به دانستن تعداد دقیق قطره‌های باران ندارید. به همین ترتیب، پیش‌بینی‌های هوش مصنوعی نیز در بیشتر اوقات نیازی به محاسبات ممیز شناور 32 یا حتی 16 بیتی نیست. با اندکی تلاش می‌توان با استفاده از اعداد صحیح 8 بیتی نیز محاسبات شبکه عصبی را انجام داد و به دقت مناسبی رسید.

با توجه به این توضیحات، واحد پردازش عصبی، پردازنده‌ای است که برای انجام انبوه محاسبات  ماتریس و تنسور بهینه‌سازی شده و شیوه نامگذاری شرکت‌های مختلف مثل هسته‌های تنسور، NPU، Neural Engine، Hexagon و … به این ویژگی‌ها اشاره دارد.

در همین رابطه بخوانید:

– مدل زبانی بزرگ یا LLM در هوش مصنوعی چیست؟

– یادگیری ماشین یا ML چیست؟ توضیح الگوریتم های ماشین لرنینگ

مقایسه NPU با CPU

از دیگر مزایای مزایای NPU نسبت به CPU می‌توان به بهره‌وری انرژی NPU در کاربردهای هوش مصنوعی اشاره کرد. به دلیل بهینه‌سازی‌های گفته شده در بخش قبل، واحد پردازنده عصبی می‌تواند با مصرف انرژی به مراتب کمتری نسبت به CPU به توان محاسباتی بالاتر در کاربردهای هوش مصنوعی دست یابد.

مصرف انرژی بهینه‌تر NPU باعث شده که پردازشگر هوش مصنوعی در دستگاه‌های موبایل کاربرد بیشتری داشته باشد و به عنوان بخشی از APUهای موبایل مثل سری A اپل و Snapdragon کوالکام به کار بروند. همچین در APUهای لپتاپ نیز شاهد استفاده از NPU هستیم.

مقایسه NPU با GPU

از تفاوت‌های NPU و GPU می‌توان به مجموعه دستورالعمل‌های قابل اجرا توسط آنها اشاره کرد. پردازنده‌های گرافیکی توان اجرای طیف وسیع‌تری از دستورالعمل‌ها را دارند به همین دلیل آنها در شتاب‌دهی به انواع پردازش‌های موازی استفاده می‌شود در حالی که در حال حاضر NPU تنها برای کاربردهای مربوط به یادگیری عمیق به کار می‌رود.

در همین رابطه بخوانید:

– تاریخچه پردازنده گرافیکی و کارت گرافیک (از 1951 تا به امروز)

– هسته تنسور در پردازنده گرافیکی چیست و چه کاربردهایی دارد؟

با وجود آنکه GPU و NPU هردو از توان انجام عملیات موازی بالایی برخوردارند، اما به این دلیل که پردازشگر هوش مصنوعی برای اجرای بهتر الگوریتم‌های هوش مصنوعی بهینه شده است، در این زمینه عملکرد بهینه‌تری داشته و با مصرف انرژی کمتری به توان محاسباتی مورد نیاز دست ‌می‌یابد.

البته بسیاری از GPUهای امروزی واحدهای پردازش عصبی را نیز در خود جای داده‌اند که از جمله آنها می‌توان به کارت‌گرافیک‌های نسل Volta به بعد انویدیا، محصولات ای ام دی از RDNA 3 و همچنین GPUهای سری ARC اینتل اشاره کرد.

امروزه در APUهای موبایل و لپتاپ، GPU و NPU نیز در کنار CPU وجود دارد و هر کدام وظیفه اجرای پردازش‌هایی که برای آن بهینه شده‌اند را بر عهده دارند.

جمع‌بندی

این موضوع به خصوص در کامپیوترهای قابل حمل که عمر باتری در آنها مهم است، باعث شده پردازشگر هوش مصنوعی در دستگاه‌های موبایل کاربرد بیشتری داشته باشد. به همین دلیل است که امروزه اکثر APUهایی که برای گوشی ‌هوشمند و لپتاپ‌ها معرفی می‌شوند، به واحد پردازش عصبی نیز مجهز هستند.

اگر تجربه استفاده از دستگاه‌های مجهز به پردازشگر هوش مصنوعی را داشته‌اید، آن را در بخش نظرات با ما در میان بگذارید.

سوالات پرتکرار