照片+音樂=影片 - Tiling Slide Show

 Tiling Slideshow - http://www.cmlab.csie.ntu.edu.tw/TilingSlideshow/

2007年秋季，中正資工朱威達教授曾經在 Multimedia Content Analysis 課堂 demo 過，後來我沒打算修課，所以就不了了之。隨後老師又在2008年初的 Seminar 時 demo 一次，這次我有特別記下，因此就可以玩玩啦。這篇是 2008 年初的筆記。

此研究成果可以將指定的音樂(*.wav) 和照片(*.jpg)，進行自動化的結合，進而製作成影片，類似成果 demo 可從上述的網站觀看，或點選這裡播放低品質的 demo 影音。

我對這很感興趣，依我的淺學，覺得裡頭主要的技術分成兩類：

• 音樂節拍分析
• 照片人臉分析、照片分類

接著則是將這些資料結合在一起，做成影片。

我覺得這在一些場合使用還挺不錯，特別是在需要短時間完成時，這時就交給程式啦。只不過我測試的結果，當然沒有比人工去製作來得好，但還滿適合給懶人用的，哈。如果要細說的話，我覺得人工簡貼還可加上文句，更讓人回到過去囉。

以下則是年初實際操作使用的流程，除了當作筆記外，也給有興趣的人當作一種參考囉。

1. 下載軟體
   • 從這裡選擇下載 2006/12/04  Tiling Slideshow v1.01，目前這是最新的，所以就下載這個啦，就只要填一些資料紀錄一下而已
   • 檔案內有兩個目錄
     • TilingSlideshow_v.1.01
     • VirtualDub (空的資料夾)
   • 請別忘了 TilingSlideshow_v.1.01 和 VirtualDub 必須擺在同一層目錄，不然到時候執行程式會出錯
2. 閱讀 README
   • 上頭說要去下載 VirtualDub，請到 http://www.virtualdub.org/ 下載，可以進入找就直接選download，接著就會跑去 VirtualDub at SourceForge 下載東西，把下載到的東西解壓縮擺到 VirtualDub 這個資料夾，當時我下載到的是 VirtualDub-1.7.7.zip
3. 再看 README
   • 這時則是要準備一些設定，例如照片位置，請開啟 TilingSlideshow_v.1.01 中的 photo_filelist.txt，把照片位置打入存檔
   • 據 README 說，提供多個位置以及遞迴目錄結構。
4. 準備音樂檔
   • 找一首音樂，請別忘了要是 wav 檔
   • mp3 可以使用 foobar2000 並在播放清單選 convert 轉成 wav 囉
   • 另外，請把音樂檔擺在 TilingSlideshow_v.1.01 這個目錄裡，我試了一下，擺在外頭填寫絕對路徑會說找不到  @_@
5. 安裝所需的編碼
   • 由於生成的影片是 avi 的，這部分如果電腦可播放 avi 等影片的話，應該不成問題，在此就不贅述播放 avi 的方式。
6. 三閱 README
   • 裡頭還有一些細部的參數，擺在 parms.txt ，可以依自己想要的進行調整，可使用預設就行，就是可以略過此步啦。
7. 用 cmd 來執行
   • 我將解壓縮的目錄都擺在 C 槽，即 C 槽根目錄有 TilingSlideshow_v.1.01 和 VirtualDub 兩個目錄，且 VirtualDub 中有擺上從 VirtualDub at SourceForge 下載的東西 ( Step 2 )
   • C:> cd TilingSlideshow_v.1.01
   • C:\TilingSlideshow_v.1.01>TilingSlideshow.exe photo_filelist.txt test.wav parms.txt
   • 接著程式就會開始慢慢地動囉！此例的音樂檔是 test.wav，影片會產生在 TilingSlideshow_v.1.01 目錄裡，檔名叫slideshow.avi
8. 使用心得
   • 我沒調參數( Step 6 略過 )，採用的照片是模特兒外拍的，光鮮且分明，主題比較強烈；音樂我使用咖啡王子1號店OST某一首 XD ，後來覺得音樂的節奏不夠強烈分明，柔柔地悠閒，所以最後做出來效果沒有想像中的好，亦有可能是參數沒調的關係
   •  這支程式主要會分幾個步驟，一開始好像是音樂分析，是在抓節奏吧，接著是照片分析，好像是在找人臉，這個就有點久，最後則是做成影片。
   • 測試的結果
     • 260 張圖片
     • 一首 2:03 的歌(轉wav後檔案是20.6MB)
     • Intel Celeron CPU 2.80GHz , 2.79GHz 0.99GB 的 RAM
     • Windows XP with SP2 + 更新到最新 ( at 2008.01.29 )
     • 花費時間大概是880秒附近