商傳媒｜何映辰／台北報導
根據最新訪談，AI新創公司NeuroMetric共同創辦人暨執行長Rob May指出，儘管AI推論（Inference）成本在過去兩年內已驚人地下降約一千倍，許多企業卻仍舊過度依賴昂貴的大型基礎模型，錯失最佳化人工智慧部署效益的機會。
身兼創投公司HalfCourt Ventures董事總經理的Rob May，過去曾成功創辦並出售Backupify等多家公司，並投資超過百家科技企業。他透過「投資AI」電子報長期分析AI趨勢，對AI領域有獨到見解。Rob May認為，AI應用將使企業營運轉化為一系列機率性決策，而成功的關鍵在於對這些決策做出最佳評估。
NeuroMetric AI平台的核心旨在解決大規模AI推論的成本與效率挑戰。該平台能動態評估AI工作負載，並運用優化策略，例如將小型、專用模型與進階測試時運算技術結合，以提升效能並降低部署成本，協助企業實現更好的投資報酬率（ROI）。
Rob May強調，隨著模型本身日益通用化，AI領域的競爭優勢已從模型能力轉移至系統層次。他提出「系統護城河」（systems moat）概念，其具備三大特性：隨使用頻繁而增強、高度客戶專屬，且無法透過替換模型來複製。他將此稱為「脈絡系統」（System of Context），這是一種整合式架構，能將基礎模型連結至企業獨有的資料、工作流程、領域知識及決策歷史，透過每次互動收集訊號，持續自我優化。
他進一步解釋，企業常犯的錯誤是預設AI選擇能一勞永逸，但AI技術堆疊的每一層都在快速變革，因此企業決策應具備選擇彈性與靈活性。Rob May觀察到，「只要是選擇前緣模型就不會被解雇」的心態，加上供應商為追求利潤而推銷大型模型，導致多數企業仍未轉向多模型架構。
Rob May指出「推論的崎嶇邊界」（Jagged Frontier of Inference）現象，即模型效能會因任務類型而異且難以預測。他引述數據指出，複合型多模型系統在客戶關係管理（CRM）任務上的準確率可達72.7%，顯著優於前緣模型的58%。他建議企業應建立涵蓋路由邏輯、升級路徑與持續評估的三層式多模型策略，讓高頻率、小範圍的任務（如分類、實體擷取）由小型微調模型處理，以大幅降低成本。
Rob May認為，當前的AI生態宛如從大型主機走向個人電腦的過渡期。大型、集中式的前緣模型雖曾有其必要，但計算能力不會永遠集中。未來，他預計約25%的AI推論會需要前緣模型，但75%將運行在開源與小型專用模型之上。這為專注於系統層次的業者帶來世代級的機會，尤其在協調、路由、評估與客製化等領域，將創造巨大的市場價值。
