Google’s Gemma 3 با مدل جدید منبع باز ، AI را به واقعیت تبدیل می کند

در حال حاضر ، اجرای مدل های هوش مصنوعی منبع باز صرفاً یک جایگزین ناخوشایند برای سهولت در استفاده از خدمات مبتنی بر ابر مانند Chatgpt ، Claude ، Gemini یا Grok است.

با این حال ، اجرای مدل ها به طور مستقیم در دستگاه های شخصی به جای ارسال اطلاعات به سرورهای متمرکز ، امنیت پیشرفته ای را برای پردازش اطلاعات حساس ارائه می دهد و با مقیاس صنعت AI از اهمیت بیشتری برخوردار می شود.

انفجار رشد هوش مصنوعی از زمان راه اندازی OpenAi Chatgpt با GPT3 از توسعه محاسبات سنتی فراتر رفته و انتظار می رود ادامه یابد. با این کار ، مدل های متمرکز هوش مصنوعی که توسط شرکت های میلیارد دلاری مانند Openai ، Google و دیگران اداره می شوند ، قدرت و نفوذ جهانی قابل توجهی را مهار می کنند.

هرچه این مدل قدرتمندتر باشد ، کاربران بیشتر می توانند مقادیر زیادی از داده ها را از طریق هوش مصنوعی تجزیه کنند تا به روشهای بی شماری کمک کنند. داده های متعلق به و کنترل این شرکت های هوش مصنوعی بسیار با ارزش خواهند بود و می تواند شامل داده های خصوصی به طور فزاینده ای باشد.

برای استفاده کامل از مدل های Frontier AI ، کاربران ممکن است تصمیم بگیرند که داده های خصوصی مانند سوابق پزشکی ، معاملات مالی ، مجلات شخصی ، ایمیل ، عکس ، پیام ، داده ها ، داده های مکان و موارد دیگر را برای ایجاد یک دستیار AI عامل با تصویری جامع از کاربران خود در معرض نمایش بگذارند.

انتخاب جالب می شود: به یک شرکت با اطلاعات شخصی و خصوصی خود اعتماد کنید یا یک مدل AI محلی را اجرا کنید که داده های خصوصی را بصورت محلی یا آفلاین در خانه ذخیره می کند.

Google مدل AI سبک وزن با منبع باز بعدی را منتشر می کند

Gemma 3 ، که این هفته منتشر شد ، قابلیت های جدیدی را به اکوسیستم محلی AI با دامنه اندازه مدل خود از پارامترهای 1B تا 27B به ارمغان می آورد. این مدل از Windows Windows Multimododality ، 128K Token پشتیبانی می کند و بیش از 140 زبان را درک می کند ، و پیشرفت قابل توجهی در AI قابل استقرار محلی داردبشر

با این حال ، اجرای بزرگترین مدل پارامتر 27B با زمینه کامل 128K به منابع محاسباتی قابل توجهی نیاز دارد ، که به طور بالقوه بیش از قابلیت های حتی سخت افزار مصرف کننده با کیفیت بالا با رم 128 گیگابایتی بدون زنجیر چندین رایانه در کنار هم است.

برای مدیریت این کار ، چندین ابزار برای کمک به کاربرانی که به دنبال اجرای مدل های AI به صورت محلی هستند ، در دسترس است. Llama.cpp یک اجرای کارآمد برای اجرای مدل ها بر روی سخت افزار استاندارد فراهم می کند ، در حالی که LM Studio یک رابط کاربر پسند را برای کسانی که کمتر با عملیات خط فرمان راحت هستند ارائه می دهد.

اولاما برای مدلهای از پیش بسته بندی شده خود که نیاز به حداقل راه اندازی دارند ، محبوبیت پیدا کرده است ، که باعث می شود استقرار در دسترس کاربران غیر فنی باشدبشر گزینه های قابل توجه دیگر شامل Faraday.dev برای سفارشی سازی پیشرفته و محلی است. برای سازگاری گسترده تر در چندین معماری.

با این حال ، Google همچنین چندین نسخه کوچکتر از Gemma 3 را با ویندوزهای زمینه ای کاهش یافته منتشر کرده است ، که می تواند در انواع دستگاه ها اجرا شود ، از تلفن گرفته تا تبلت گرفته تا لپ تاپ و دسک تاپ. کاربرانی که می خواهند از 128،000 Token Context Token Windows Limit استفاده کنند ، می توانند با استفاده از کمیت و مدل های 4B یا 12B حدود 5000 دلار این کار را انجام دهند.

• Gemma 3 (4B): این مدل به راحتی در M4 Mac با رم 128 گیگابایتی در زمینه کامل 128K اجرا می شود. مدل 4B به طور قابل توجهی کوچکتر از انواع بزرگتر است و اجرای آن با کل پنجره زمینه امکان پذیر است.
• Gemma 3 (12b): این مدل همچنین باید روی M4 Mac با رم 128 گیگابایتی با زمینه کامل 128K اجرا شود ، اگرچه ممکن است برخی از محدودیت های عملکرد را در مقایسه با اندازه های متن کوچکتر تجربه کنید.
• Gemma 3 (27B): این مدل برای اجرای با زمینه کامل 128K ، حتی در یک MC 128 گیگابایتی M4 ، چالش برانگیز خواهد بود. ممکن است شما نیاز به کمیت تهاجمی (Q4) داشته باشید و انتظار عملکرد کندتر را داشته باشید.

مزایای مدل های AI محلی

تغییر به سمت AI میزبان محلی از مزایای مشخص فراتر از مزایای نظری ناشی می شود. هفتگی رایانه گزارش می دهد که مدل های در حال اجرا به صورت محلی اجازه می دهد تا داده های کامل را جدا کنند و خطر انتقال اطلاعات حساس به سرویس های ابری را از بین ببرندبشر

این رویکرد برای صنایع دارای اطلاعات محرمانه مانند بخش های بهداشتی ، امور مالی و حقوقی ، که در آن مقررات حفظ حریم خصوصی داده ها نیاز به کنترل دقیق بر پردازش اطلاعات دارند ، بسیار مهم است. با این حال ، این امر همچنین در مورد کاربران روزمره که با نقض داده ها و سوء استفاده از قدرت مانند رسوایی فیس بوک کمبریج آنالیتیکا زخم خورده اند ، اعمال می شود.

مدل های محلی همچنین مسائل تأخیر ذاتی در خدمات ابری را از بین می برند. حذف نیاز به داده ها برای سفر به شبکه ها منجر به زمان پاسخگویی به طور قابل توجهی سریعتر می شود ، که برای برنامه هایی که نیاز به تعامل در زمان واقعی دارند بسیار مهم استبشر برای کاربران در مکان های از راه دور یا مناطقی که دارای اتصال به اینترنت غیرقابل اعتماد هستند ، مدل های میزبان محلی بدون در نظر گرفتن وضعیت اتصال ، دسترسی مداوم را ارائه می دهند.

خدمات هوش مصنوعی مبتنی بر ابر به طور معمول بر اساس اشتراک ها یا معیارهای استفاده مانند Tokens پردازش شده یا زمان محاسبه شارژ می شوند. ValueMiner خاطرنشان می کند که در حالی که هزینه های اولیه تنظیم برای زیرساخت های محلی ممکن است بیشتر باشد ، پس انداز بلند مدت به عنوان مقیاس استفاده ، به ویژه برای برنامه های فشرده داده آشکار می شود.بشر این مزیت اقتصادی با بهبود کارآیی مدل و کاهش نیازهای سخت افزاری برجسته تر می شود.

علاوه بر این ، هنگامی که کاربران با خدمات Cloud AI در تعامل هستند ، نمایش داده شد و پاسخ های آنها بخشی از مجموعه داده های عظیم است که به طور بالقوه برای آموزش مدل آینده استفاده می شود. این یک حلقه بازخورد ایجاد می کند که در آن داده های کاربر به طور مداوم از پیشرفت سیستم بدون رضایت صریح برای هر استفاده تغذیه می کند. آسیب پذیری های امنیتی در سیستم های متمرکز خطرات دیگری را نشان می دهد ، به عنوان برجسته جهانی EMB ، با پتانسیل نقض بر میلیون ها کاربر تأثیر می گذارد همزمانبشر

چه چیزی می توانید در خانه دویدید؟

در حالی که بزرگترین نسخه های مدل هایی مانند Gemma 3 (27b) به منابع محاسباتی قابل توجهی نیاز دارند ، انواع کوچکتر قابلیت های چشمگیر را در سخت افزار مصرف کننده فراهم می کنند.

نسخه پارامتر 4B GEMMA 3 به طور مؤثر روی سیستم هایی با رم 24 گیگابایتی اجرا می شود ، در حالی که نسخه 12B برای عملکرد بهینه با طول زمینه معقول تقریباً 48 گیگابایتی نیاز دارد. با بهبود تکنیک های کمیت ، این الزامات همچنان کاهش می یابد و باعث می شود هوش مصنوعی قدرتمندتر در سخت افزار استاندارد مصرف کننده قابل دسترسی باشد.

جالب اینجاست که اپل به دلیل حافظه یکپارچه خود در MAC های سری M ، دارای یک رقابت رقابتی واقعی در بازار هوش مصنوعی خانگی است. بر خلاف رایانه های شخصی با GPU های اختصاصی ، RAM ON MACS در کل سیستم به اشتراک گذاشته می شود ، به این معنی که می توان از مدلهایی که نیاز به سطح بالایی از حافظه دارند استفاده کنید. حتی GPU های برتر NVIDIA و AMD محدود به حدود 32 گیگابایت VRAM هستند. با این حال ، آخرین مک های اپل می توانند تا 256 گیگابایت حافظه متحد را تحمل کنند.

اجرای هوش مصنوعی محلی مزایای کنترل اضافی را از طریق گزینه های سفارشی سازی که با خدمات ابری در دسترس نیست ، می دهد. مدل ها را می توان بر روی داده های خاص دامنه تنظیم کرد و نسخه های تخصصی را برای موارد استفاده خاص بدون به اشتراک گذاری خارجی اطلاعات اختصاصی بهینه کرد. این رویکرد اجازه می دهد تا داده های بسیار حساس مانند سوابق مالی ، اطلاعات بهداشتی یا سایر اطلاعات محرمانه را که در غیر این صورت در صورت پردازش از طریق خدمات شخص ثالث ، خطرات را ایجاد می کند ، پردازش کند.

حرکت به سمت هوش مصنوعی محلی نشان دهنده تغییر اساسی در نحوه ادغام فن آوری های هوش مصنوعی در گردش کار موجود است. کاربران به جای تطبیق فرآیندها برای محدود کردن محدودیت های سرویس ابری ، مدل ها را متناسب با نیازهای خاص و ضمن حفظ کنترل کامل بر روی داده ها و پردازش ، تغییر می دهند.

این دموکراتیک سازی از قابلیت هوش مصنوعی با افزایش اندازه مدل و افزایش کارایی ، به سرعت در حال تسریع است و ابزارهای فزاینده ای را به طور مستقیم در دست کاربران بدون دروازه بان متمرکز قرار می دهد.

من شخصاً در حال انجام یک پروژه برای راه اندازی یک خانه خانگی با دسترسی به اطلاعات محرمانه خانواده و داده های خانه هوشمند هستم تا یک جارویس در زندگی واقعی ایجاد شود که کاملاً از نفوذ خارج از کشور خارج شده است. من واقعاً معتقدم که کسانی که ارکستراسیون هوش مصنوعی خود را در خانه ندارند ، محکوم به تکرار اشتباهات ما با ارائه تمام داده های خود به شرکت های رسانه های اجتماعی در اوایل دهه 2000 هستند.

از تاریخ بیاموزید تا آن را تکرار نکنید.