台灣人工智慧協會(TAIA)主辦的「AI Talk專題演講」2日登場,群聯電子技術長林緯受邀說明aiDAPTIV+技術方案的革命性技術創新和生態系統發展,現場互動熱絡。他說,透過群聯方案,拜拜解籤「嘛也通」,甚至醫療領域也助益甚大,這項革命性的方案,大幅降低成本,aiDAPTIV+獲得高度關注。
生成式人工智慧(AI)技術逐漸融入日常活動,架構從單一模型框架演變為複雜的多專家系統,然而,生成式AI技術的高部署成本成為其廣泛採用的重大障礙。為此,群聯引入了「aiDAPTIV+」技術方案,這項革命性的方案,利用NAND Flash來擴展高帶寬記憶體(HBM),從而大幅降低成本。
林緯在演講中強調,目前要訓練大型語言模型的成本非常高,但採用aiDAPTIV+成本不到傳統方法的十分之一,大幅降低AI模型建置成本,對於AI在各行各業普及進程大大加分。
會中一名聽眾熱烈提問:「aiDAPTIV+是否能夠應用於金融機構的數據分析和風險管理?」 林緯回說,這正是他們的目標之一,已有多家金融機構在使用aiDAPTIV+進行數據分析,且效果顯著。至於與會者關心的「技術如何保障數據隱私?」 林緯指出,他們的技術確保數據在本地進行處理,不需要上傳至雲端,這大大提高了數據的安全性。
群聯電子統計,這場演講後,預計獲得超過二十間企業的商業洽談機會,不但鞏固aiDAPTIV+方案在市場中領先的地位,更顯現群聯在AI產業發展的方向正確性。
群聯指出,aiDAPTIV+解決方案已吸引多家廠商開案,POC數量達100個以上,預計第三季開始放量出貨,短期出貨規模拚上萬套,中長期更希望此平台能將AI平民化,讓生成式AI不再高不可攀。aiDAPTIV+平台透過把群聯自家NAND Flash解決方案當作DRAM使用,進一步擴充AI地端運算能力,讓客戶在不必將資料上傳至雲端的情況下,也能在地端進行訓練與推論。
aiDAPTIV+已導入公家機關、金融機構、中小企業等客戶,讓AI技術實際落地。例如全台大型財神廟北港武德宮就導入了群聯方案,用於解籤,並依武德宮風格撰寫官網文章,解說經文內容;在醫療領域,連鎖診所運用了客服AI助理,減少櫃台負擔。
群聯電子將與TAIA合作推出aiDAPTIV+實作工作坊,提供深入的技術培訓和實際操作機會,幫助企業更好地理解和應用aiDAPTIV+技術,進一步推動AI技術的普及和發展。現場設有互動展示區域,參與者可親身體驗aiDAPTIV+技術的應用場景,並與技術專家進行一對一的交流討論。
「aiDAPTIV+」是一種整合硬體和軟體的AI模型微調訓練地端解決方案,可讓企業進行AI模型微調運算的過程中依舊保有資料的安全性與不外流,讓機器學習更安全有保障。群聯的「aiDAPTIV+」可賦能AI模型微調運算,將訓練的AI模型塑造成能夠理解特定領域的專業工具,例如符合律師、會計師、醫師、工程師等特殊領域的AI助理等,提供符合各種專業領域所需的精確服務。
通用型工作站硬體透過「aiDAPTIV+」軟體Middleware和群聯獨家專利設計的aiDAPTIVCache系列AI100,將可讓現行的工作站電腦或是AI伺服器訓練更大的AI模型。