https://support.google.com/webmasters/answer/183668?hl=zh-Hant
不錯不錯,可以提交純文字,那就搭配個 wget 吧!
$ time wget --spider --recursive --no-verbose --output-file=log.txt https://example.com/
...
real 87m25.965s
user 0m1.836s
sys 0m4.081s
真久,接著再靠 grep 跟 awk 即可:
$ grep -op "URL:http[s]://\(.*\) " ~/log.txt | awk '{print(substr($1,5));}' > sitemap.txt
搞定!
沒有留言:
張貼留言