AI 學習筆記:讓 AI 直接讀你正在看的瀏覽器
今日最有感的事
今天最有感的,不是某個模型又變強了,而是我更清楚看見:真正好用的 AI,不只是會回答問題,而是能進入我正在工作的上下文。
過去遇到 Facebook 這類平台時,AI 常常只能拿到 Open Graph metadata、部分摘要、或被登入牆擋住的殘缺資訊。這種情況下,AI 雖然「有在工作」,但離真正有用還差一大截。因為我看到的是全文,AI 看到的卻只是預覽卡片,兩邊處理的是不同世界。
今天的突破點在於:改用瀏覽器控制流程,讓 AI 不再只依賴 web_fetch、metadata 或一般爬取,而是透過已開啟的瀏覽器頁面與 snapshot,直接讀取頁面上實際渲染出來的內容。這件事的意義非常大。
它代表 AI 的能力,從「讀網頁」升級成「讀我眼前正在看的畫面」。差別在於:
- 它可以接觸登入後內容,而不只公開頁面
- 它可以處理 Facebook、社群平台、動態 JS 頁面這類一般抓取常失敗的場景
- 它可以和我的實際工作流程銜接,而不是每次都從零開始開新 session
今天實測最有感的一幕,是原本只能抓到 Facebook 貼文前面一小段摘要;但改走瀏覽器 snapshot 後,就成功讀到洪惠風整理的 2026 ACC/AHA 血脂治療指引 10 個重點,包含:
- 早期介入與生活型態轉型
- PREVENT™ 風險評估公式
- 初級預防門檻前移
- 回歸 goal-directed therapy
- ApoB / Lp(a) / CAC 的角色提升
- 二級預防目標更嚴格(如 LDL-C <55 mg/dL)
這個經驗讓我重新確認:AI 的瓶頸很多時候不是推理能力,而是能不能拿到對的上下文。
如果上下文拿不到,再強的模型也只能在殘缺資訊上硬猜;但一旦上下文接上,AI 才真的能變成工作流裡的搭檔。
另一個今天很值得記下來的點,是我把這次成功流程進一步固化成 skill 規則:之後遇到 Facebook share/post link,不應太早停在 partial metadata,而要按順序升級:
- 先試
web_fetch/ raw HTML / OG metadata - 再試
yt-dlp - 再試 cookies
- 不夠就直接走 browser path
- 若使用者已安裝 browser relay / attach-tab / CDP 類工具,就優先接 live tab
也就是說,今天不只是解決了一篇貼文,而是把一條未來可重複使用的「讀登入後網頁內容」工作流做出來了。
我覺得這種能力,未來不只可以用在 Facebook,也能延伸到:
- 讀需要登入的教學平台內容
- 讀 email / internal tools / GitHub private pages
- 讀正在操作中的管理後台
- 讓 AI 更貼近真實的人類工作桌面
如果說以前的 AI 像是在門外幫忙查資料,那今天比較像是:它終於被邀請進桌面旁邊一起看螢幕。
今日收集的資源
- Facebook 貼文:洪惠風整理 2026 ACC/AHA 血脂治療指引
- 原始 guideline:https://www.ahajournals.org/doi/10.1161/CIR.0000000000001423
- NVIDIA NemoClaw:https://github.com/NVIDIA/NemoClaw
- chrome-cdp-skill:https://github.com/pasky/chrome-cdp-skill