2024年6月17日 星期一

2024生成式AI年會回放筆記 - 玉山銀行 GENIE: 金融服務建置生成式 AI 的困境與攻略

圖：videos.gaiconf.com/view/gaiconf2024-06

年初滑 linkedin 時就曾看到布丁提及 2024生成式AI年會 的活動，不過時間太遙遠，很難確保沒有期他活動會撞期（家庭第一）。後來還真的邊渡假邊看共筆筆記，第一眼就吸引我的是來自玉山銀行的徐銘霞的分享，自稱 GENIE 夫人，玉山銀行智能金融處主任工程師。從她的投影片中，已經可以窺探許多珍貴的研發經驗，包括從五人兼職的團隊做出POC後，跟長官要求資源（算力經費跟人力）成長到百人團隊，實在驚人，瞬間有感碰到貴人跟大公司資源的感慨，不是每個人都有這樣的緣分能被賞識且被投資，當然，不能抹滅的還是團隊的執行力。

由於網路上的討論文不算多，大多都被網紅 志祺七七 跟 薩泰爾娛樂 Sunny 給吸引走 XD 他們的分享文當然是很讚的，只是場域上跟我在意的 GAI 戰場不同，所以還是來寫一篇筆記吧！

我主要持續關注聯發科 DaVinci(達哥) 生成式AI平台，也加入 DaVinci (達哥)生成式AI平台社群 ，而玉山 GENIE 也正是同領域的！把玉山 GENIE 的分享+聯發科 達哥資訊拼湊一下，已經有非常多的乾貨可吸收。甚至財經網紅股癌在六月多集 podcast 也分享起聯發科達哥的一些細節。回過頭來，實在感恩有回放可以看，想到就覺得滿爽的，可以兩倍速以及不斷咀嚼片段，甚至講者沒有分享投影片也能從回放影片看到。

此場演講內容中，提到的玉山一開始切入點就是先做集團內的 ChatGPT 服務，做完再導入特定型應用的研發，接著提到全體公司使用率低，以及未來的規劃等。

一些足跡恰好讓我回想起近兩年公司的變化，先試著用 OpenAI API 包裝一些應用場景，如會議紀錄，可惜會議情境場域變化太多，想要靠同樣的 prompt 吃天下太難了，隨著時間，在 2024 年春天老闆搖旗吶喊，指派我幫公司導入 AI 輔助應用，當時研究幾輪後，先求個七十分，筆記了 企業導入 AI 輔助方案：廣義用法 ChatGPT / 設計行銷 Stable Diffusion 與 AI 主播 / 程式開發 Github Copilot 方案，其過程也研究了不少款對岸研發的 open source ，像是自行搭建 Private ChatGPT Web 的方式，或是 Coding 輔助抽換成各家 GAI API 方案等。

回到 GENIE 夫人 的演講內容，有一張投影片提到了整個研發時程：
  • [外部] 2022.11 ChatGPT 橫空出世
  • [內部] 2022.12 玉山行內 GAI 黑客松、LLM/RAG、PoC
  • [外部] 2023.02 Bing Chat
  • [外部] 2023.03 OpenAI GPT-4, Google Gemini 公布
  • [內部] 2023.03 玉山高階長官 GAI 科普課程、成立全行 GAI 工作小組
  • [內部] 2023.03 ~ 2023.06 玉山內部推廣 GAI WorkShop、GAI工作小組確認法規與需求
  • [內部] 2023.06 ~ 2023.09 建構通用型服務 GENIE 平台
  • [內部] 2023.09 ~ 2023.12 GENIE 試營運、開發特定型應用
  • [內部] 2024.01 GENIE 正式上線、特定型應用(RAG+GAI)上線測試
可以看到 GENIE 前期準備時程約 3個月(2023.03~2023.06)，開發時程約 3個月 (2023.06~2023.09)，試營運也是 3個月。其中，也看到玉山的 Best Practice 分享 - GENIE x RPA: 業務單位自行開發的負面新聞摘要日報，透過 RPA爬交易對手的相關新聞，每天利用 GENIE 判斷新聞為正面或負面，並提供摘要

我之前已接觸過一些 no code 服務略知一二，有些工程上要花大量心力研發的“模組”已經完全可以靠 LLM 頂替了。例如新聞的正面或負面的判斷上，可能一般人看到一兩句話沒有太多感觸，過去有緣在新創研發環境上，當時有個題目在做美食文章分析模組，粗略可以想成工程團隊：
  • 兩人開發 crawler 
  • 兩人開發分析模組，判斷文章是正面描述美食，還是負面描述美食
  • 兩人進行系統整合，並且建構出人機回饋評分架構，讓 n>5 位受過中文系專業訓練的成員評分模組判斷的正確性
這樣的人力配置，用 5位工程師來說嘴，一年就要燒掉 600~800萬的費用的。而現在，只要套用個 LLM 來判斷！真的很省錢。在另一場運輸領域的，也有用 OCR+LLM+RPA 加速百種紙本單據轉數位化的研發，有興趣都可以追一下。如李宏毅教授的線上課程【生成式AI導論 2024】第0講：課程說明，一開始也就舉這個為例：

圖：youtu.be/AVIKFXLCPY8?list=PLJV_el3uVTsPz6CTopeRp2L2t4aL_KgiI&t=29

回過頭來，真心感謝玉山銀行的徐銘霞的分享，如演講題目的“攻略“，想要把 AI輔助 導入公司使用真的很費心的，心有戚戚焉啊，包括並不是每個人可以從 ChatGPT 中得到成果，如同 Google Search 擺在眼前，高手跟普通人的搜尋效率還是天差地遠的。

這時就得佩服 志祺七七 推出的 simpleinfo.ai ，在業配腳本上規劃 SOP 來讓公司同仁能更快上手，這跟一些管理書籍提到高度相關，很多超強的大企業，其管理目標就是不斷將做事方式切得更細，目的是讓普羅大眾也能做好。

最後，有興趣可考慮看看 2024年會回放影片：videos.gaiconf.com/view/gaiconf1 ，感謝策展人李慕約，看完其他回放，才發現講者的議題都源自於策展人的規劃的，真收穫滿滿。

相關資訊：
張貼者： 於
標籤： , , , , , , , ,

沒有留言:

張貼留言

訂閱： 張貼留言 (Atom)