今日最有感的事
今天丟了一則 Threads 爆紅貼文問:有沒有辦法逆向工程看看 Fomofly 是怎麼做的。先補個背景給非工程師讀者:Fomofly 是一個 AI 自動剪片工具,你上傳一段長影片,它幫你自動切成好幾支短片、還會自動把畫面框在講話的人臉上。這種工具最近在社群上很紅,貼文就是在推它。
先講攤開來看到的第一件事:這則貼文本身,一個技術字都沒有。 作者 @master_aiaiai、兩萬次瀏覽,開頭寫著「下面 8 個 prompt,直接用:」——但把整串留言拉下來,作者自己在下面回了三次「其實不用 prompt 的喔 🙈」。那八個 prompt 從頭到尾不存在,那句開場白純粹是釣互動用的鉤子。再往外看,daydayaitools、aicuttools、funaitools、master_aiaiai 這一批帳號,在 8/5 到 8/24 之間用同一套句型連發同一支工具,而 Fomofly 官網有 /affiliates 分潤計畫。這代表整件事是一個聯盟行銷叢集,貼文只是誘餌,賺的是導流佣金。
那技術到底從哪來?從它的前端 bundle 挖出來的,不是貼文。在 app.fomofly.ai 的 JS 檔裡有一組後端 job 的狀態機常數(uploading、google_processing_upload、transcribing、extracting、asdProcessing、clipping⋯),這串常數等於把它整條剪片流水線攤在你面前。真正值得看的是這個狀態機——貼文教不了你任何東西,但它的程式碼會。這也是今天最有感的一個反差:一則號稱要「教你怎麼做」的爆文,學習價值是零;真正的資訊藏在它自己沒打算給你看的地方。
更直白地說,這件事的第二層才是重點:把 Fomofly 這條 pipeline 跟我自己的 BearCut 剪片專案逐格對照下來,七格裡我已經有六格,而且有三格做得比它好——轉錄我用本機 whisper(Metal 加速)配 faster 備援、選題我丟給 claude -p 抽爆點、匯出走自己的 clip_export.py。唯一缺的那一格,就是 Fomofly 狀態機裡的 asdProcessing:active speaker detection,主動說話者偵測。我的 face_detect.py 用了 YuNet,但它只留信心最高的那張臉,其餘全丟——所以它連「畫面裡有兩個人」都不知道,更別說判斷「此刻是誰在講話」。
而這一格,正是今天真正該收的東西。這裡我還踩了一個自己的坑:一開始我推薦用 Light-ASD 當這格的解,但那是憑印象講的、沒查證。後來派 Fable 做對抗式覆核時,我在 prompt 裡直接把這條標成「我建議裡最弱的一環」,要它實際去查 Apple Silicon 可行性、授權和維護狀態。Fable 那輪還順手推翻了我另外幾個技術判斷(crop 的高度不能用表達式動、clip_export 根本沒碰去空白、cuts.py 早就有場景偵測),我逐條獨立驗過,全部成立。教訓很清楚:選模型不能靠記憶背書,得攤開論文和 repo 實測。所以今天把 Light-ASD、TalkNet-ASD 和一篇 IJCV 2025 的相關論文一起收下來當選型的三個對照點。
還有一個關鍵是我提到「有時候需要雙人素材、大部份單人偶爾雙人」的時候浮出來的:正因為偶爾會有兩個人同時入鏡,只做「抓最大那張臉」是不夠的,得靠 ASD 分辨「這一刻鏡頭該框誰」。而我做的是醫學教學影片,不是網紅 podcast——爆點判準、取景邏輯跟那些工具本來就不一樣,所以更不能整包照抄別人的模型,得自己選、自己驗。
今日收集的資源
Fomofly 逆向工程的那則 Threads 貼文
- 連結: https://www.threads.com/share/_0_LfnY0S/
- 一句說明: 一則聯盟行銷誘餌貼文,本身沒技術;價值在於它讓我去挖 Fomofly 前端 bundle,把整條剪片 pipeline 狀態機攤出來。
Light-ASD(GitHub)
- 連結: https://github.com/Junhua-Liao/Light-ASD
- 一句說明: 輕量級主動說話者偵測模型,判斷畫面裡「誰在講話」;我原本憑印象推薦它、被 Fable 標成最弱環節,要實測 Apple Silicon 可行性與維護狀態。
TalkNet-ASD(GitHub)
- 連結: https://github.com/TaoRuijie/TalkNet-ASD
- 一句說明: 另一個常被引用的 ASD 基準模型,跟 Light-ASD 做選型對照,避免只看 star 數就決定。
IJCV 2025 論文(PDF)
- 連結: https://duanhaihan.github.io/publications/2025/IJCV2025.pdf
- 一句說明: 跟兩個 ASD repo 一起收的 IJCV 2025 學術文獻,當選型時的理論對照,補足只讀 GitHub 的盲點。
財報狗 EP560 逐字稿(Google Doc)
- 連結: https://docs.google.com/document/d/
- 一句說明: 本機 whisper 轉錄 pipeline 產出的財報狗 EP560(群聯潘健成)繁體逐字稿交付檔,示範熱詞字典+分段校正如何把半導體術語密集的訪談壓到堪用品質。
看完有什麼想法?在下面留言、按讚或給個表情,一起討論。
comments powered by Disqus