打造 AI 智能總機後，我才發現：真正困難的從來不是 AI
上一篇文章分享了我為什麼會開始打造 AI 智能總機。
文章發出後，有朋友問我： 「這套系統，從零做到可以接電話，到底花了多久？」
如果只是讓電話接進來、語音能辨識、AI 能回答問題，其實沒有想像中困難。現在開源工具很成熟，電話系統有 Asterisk，語音辨識有 Whisper，模型有 Ollama，ERP 也提供 API。
把這些工具串起來，幾天內就能做出一個可以展示的 Demo。
我剛開始的想法也很單純，以為照著教學，很快就能收工。後來才發現，安裝真的不難，真正困難的是填坑。
那些花掉我最多時間的，從來不是功能，而是教學文件不會告訴你的細節。
讓我卡最久的，不是 AI，而是一個 ID
有一次，整套系統突然全面罷工，查不到任何資料。
最奇怪的是，每個元件單獨測試都正常。ERP 正常、API 正常、AI 模型也正常，偏偏全部串在一起，它就是不工作。
我花了好幾天看 Log、比對資料、檢查程式，甚至開始懷疑是不是模型本身有 Bug。
最後找到原因時，我真的愣住了。 原因竟然只是因為一個欄位名稱的大寫與小寫不同。
一個在畫面上根本看不出來的微小差異，讓我整整卡了一個星期。
第一次聽見「井號井號查詢結果」
我原本以為，只要 AI 能把答案算出來就好了。後來才知道，它輸出的「格式」也是一個坑。
大型語言模型很喜歡輸出 Markdown。畫面上看起來很漂亮，但電話系統可不會理解 Markdown。
第一次測試時，我從話筒裡聽到 AI 用非常認真的語氣念著： 「井號井號查詢結果。星號星號物流單號星號星號。」
那一瞬間真的好氣又好笑。
還有，Gemma 有時候貼心過了頭。回答的最後總喜歡加上一個 😊 或 ✨。在聊天室裡看起來很友善，但放進電話語音裡，它會老老實實地念出來：「您的商品已出貨，卡車表情。」
所以最後我只好又多做了一層清理流程，強制把所有 Markdown 和 Emoji 都過濾掉。
包括金額也是。當 ERP 回傳 NT$19,900 時，直接交給語音系統，它會念成一串完全不像人話的怪異符號。我這才理解：適合閱讀的文字，不一定適合朗讀。最後我把所有金額都改成完整中文，例如「新台幣一萬九千九百元」，問題才解決。
北京腔與中國客服用語
一開始測試文字轉語音（TTS）時，音質都不差。直到真正打電話測試，我才發現問題不是音質，而是口音。
如果一家台灣公司的客服總機，一開口就是標準的北京腔： 「您好，請問您有什麼需求？」
很多人的第一個反應，大概不是覺得科技進步，而是懷疑自己接到詐騙電話。後來我改用 Edge TTS 的台灣語音，聽起來才總算像個正常客服。
除了口音，Qwen 這類模型也很聰明，但接上電話後，又出現另一個問題。它常常會說：數據庫、數字化、智能客服、視頻會議。
詞都沒有錯，但放到台灣企業的情境裡，總覺得少了一點熟悉感。所以我花了不少時間調整提示詞（Prompt），甚至直接更換模型。不是它不好，而是台灣的企業服務更需要在地化。
真正的大魔王，其實是語音辨識（STT）
如果要我選整套系統最重要、也最難搞的元件，答案不是 AI 模型，而是語音辨識（STT）。
因為真實的企業電話環境，絕對不是錄音室。電話另一端可能同時出現長輩口音、台灣國語、台語夾中文、收訊不穩，或是背景的車流噪音。
只要 STT 辨識慢一點、錯一點，後面的 AI 再聰明都沒用。因為在電話裡，讓客戶在線上等待三秒和等待半秒，是兩個完全不同的世界。
最後我沒有選參數最大的模型，而是選擇速度與準確率最平衡的方案。
有趣的是，STT 並不是每次都能辨識得完全正確。有幾次辨識出來的句子殘破不堪，我都還沒看懂，Gemma 竟然能根據上下文，把真正的意思「腦補」出來。這也是大型語言模型真正有趣的地方，它不只是看文字，而是在理解意圖。
真正困難的，從來不是 AI
做到最後，我最大的心得是：真正困難的，從來不是 AI。
高深的模型有人幫我們做好了。但要讓技術落地，靠的是那些看起來微不足道的小細節。
一個欄位名稱的大小寫、一段 Markdown、一個 Emoji、一種口音、一句台灣人真正會說的話、幾百毫秒的延遲。沒有任何一個問題驚天動地，但每一個，都足以讓你花上好幾天去調校。
當然，這些遇到的坑真的太多了，這篇文章寫出來的，不過是冰山一角。
我的 AI 智能總機今天還稱不上完美，未來一定還會遇到更多稀奇古怪的挑戰。但它現在已經能接電話、查詢 ERP、回答問題，開始協助企業處理第一線服務。對我來說，這就是一個很好的開始。
至於剩下的那些坑嘛……大概就是身為工程師，最熟悉、也最有趣的日常了。
想讓你的企業總機也進化成「能工作的 AI 同事」嗎？ 歡迎來到 璦閣數位科技 (IgG Digital Technology)，讓我們一起聊聊如何用技術解決你每天發生的營運小問題。