Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ?
在無名小站上面搞 SEO 是無用的。
我前不久在用 Google 搜尋一些東西的時候，感覺 SERP 有點怪怪的，不太平衡，但是沒仔細去想發生了什麼事，剛剛又搜尋了一點東西，還是怪怪的，今天比較有空就仔細感覺了一下，終於發現為什麼了：無名小站裡的網頁都不見了，正確地說，只有標題還在，內文都不見了。這什麼意思呢 ? 平常有在注意看搜尋結果的人應該都知道，現在不管是哪一家的搜尋引擎，搜尋結果的頁面呈現方式大概都是一頁分成 10 個 (或以上) 條目，每個條目包括了 標題
、內文摘要
、網址
、其他 (頁庫存檔或相關網頁之類的)
，而我在 Google 查出來的結果裡，發現 內文摘要
的部份不見了，只剩下 標題
和 網址
，所以每一個條目的 厚度
看起來不太一樣，感覺不太平衡 XD
會發生這種事，馬上就該去檢查一下無名小站的 robots.txt 長什麼樣子，拿出來 http://www.wretch.cc/robots.txt 一看，唉呀不得了：
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /
有經驗的人應該知道這是什麼意思，我來解釋一下：
除了 Yahoo! 的搜尋引擎以外，其他守規矩的搜尋引擎都找不到無名小站的網頁內容。
這件事可大可小：如果你是個寫 blog 自己爽或是只給熟人看的使用者的話，那其實這件事和你無關，反正你本來就沒打算讓不特定人找到你的網頁；不過如果你是打算靠 blog 拓展某些關係，或是努力 SEO 打算靠網路廣告 (Google AdSense 之類的) 賺錢的人的話，那這樣可就大有問題，因為從此之後只有從 Yahoo! 上才能找得到你 blog 上所寫的內容，而且我也不預期 Google AdSense 跑得出什麼東西來，畢竟內容都找不到，就別提靠內容生廣告了吧 ?
PS. Yahoo! 和無名小站是什麼關係應該不用我解釋吧 ?
PS2. 我不知道這措施什麼時候開始的，但是印象中好一段時間以前 Google 查出來的結果裡還是有 內文摘要
的。
PS3. 不知道這篇文章有沒有 OP ?
2007/10/09 Update : 根據某匿名 comment 指出，無名小站的 http://www.wretch.cc/robots.txt 已經拿掉了，似乎沒看到什麼官方解釋 ?
2007/10/09 Update : 昨天終於有媒體報導這件事了，不知道這是不是無名小站取消限制的原因 ? BTW，在該文中我只剩下 使用者
三個字，而且還沒連結，果然知名度還是要稍微打一下啊 Q_Q
2007/10/11 Update : 公平會放話了，最高則可能處以5,000萬元重罰
。
Technorati Tags: yahoo, wretch, robots.txt, robots, crawler, seo
Comments
Comment from OuTian
Date: 2007/9/30, 11:57 下午
從 mtime 看起來是 8/23
Comment from Y^
Date: 2007/10/1, 12:10 上午
就我所知，大概兩個禮拜之前有幾位香港 blogger 注意到 (並且因此搬家)
他的 robots.txt 不太合 (robotstxt.org 的) 語法 (ie: 對不同組的 bots 的規範中間應該有一行空白行)
所以不同的 robot.txt parser 實作會有不同的結果
就某種角度說來，這個 robots.txt 只對 Slurp 做了規定 (第三行算是語法錯誤) 反而而沒有明確的說其他的要怎麼辦
(也就是說，其實 bots 是有理由仍然 index & cache … 只要夠賴皮的話 XD)
Pingback from 無名小站的 robots.txt at Gea-Suan Lin’s BLOG
Date: 2007/10/1, 12:26 上午
[...] Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ? 這篇的內容。依照 HTTP header 所寫，robots.txt 最後修改日期是 8/23： [...]
Pingback from Blog.XDite.net » 欲練神功，揮刀自宮！( Wretch ban 掉所有搜尋引擎）
Date: 2007/10/1, 1:56 上午
[...] 這是剛剛從 610 blog 看到的：「Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ?」。 [...]
Comment from osaki
Date: 2007/10/1, 12:02 下午
不只是流量會大幅下降，還會把流量拱手讓人，比如說我在某無名的部落格上曾經看過一篇好文章，過一陣子想再看一次，於是用了google搜索引擎，利用印象中的文章關鍵字作搜索，結果呢？找到的是別人的網頁中的文章，也就是說，別人轉貼你的文章，但是搜索結果的得利者卻不是你這個原創人，而是那轉貼的別人～光是想到這一點，你就該氣炸了。
五月份就曾經看過一個陰謀論「無名小站被指每況愈下 外界稱雅虎收購旨在扼殺 」，看來…很成功？
Comment from vodka
Date: 2007/10/1, 1:32 下午
相信百度會制裁它的 XD
Comment from kaxing
Date: 2007/10/1, 2:29 下午
不管怎樣依然是使用者的權益被侵害
不知道發生什麼事情的使用者真的很倒楣
Trackback from 優格網 - 永遠的真田幸村 - Blog, review, news, life, and more
Date: 2007/10/1, 6:43 下午
不只是無名小站的Robots.txt排除其他搜尋引擎，Yahoo知識+、新聞也是…
今天看了大神和蔡依林長輩文章提到無名小站把搜尋引擎機器人判讀抓資料用的Robots.txt配置修改，居然只限定Yahoo的抓資料機器人可……
Comment from lime
Date: 2007/10/2, 1:39 上午
vodka 所言甚是啊！
Comment from richy
Date: 2007/10/2, 8:42 上午
就小弟所知，Yahoo!奇摩每個服務的 robots.txt 是PM可以決定的（如果他有那個能力，知道什麼是robots.txt 的話）。由於有人（ivan就是你）提到Yahoo!奇摩新聞的Robots，這個我剛好是苦主，可以說明一下。因為我們的新聞都是人家授權的，如果開放的話，可能會在某些搜尋式新聞服務中看到資料來源為「Yahoo!奇摩新聞」的內容，但背後實際上是其他來源，為了避免法律上可能衍生的困擾，所以就擋了。Google News自己也是擋一堆～
我們也有服務是沒有擋的（說過了，每個服務可以自己決定），可以參考 http://tw.fashion.yahoo.com/robots.txt 。
Pingback from 無名小站robots.txt阻擋非yahoo搜索服務觀察 « Jiunn’s mind & information collection
Date: 2007/10/2, 11:22 上午
[...] 無名小站robots.txt阻擋非yahoo搜索服務觀察 Posted on October 2, 2007 by jiunnmind 看到破月的紅軍的文章Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ? [...]
Comment from ivan/永遠的真田幸村
Date: 2007/10/2, 2:51 下午
瞭解了，感謝richy 大哥釋疑，這樣比較瞭解yahoo不同頻道的作法。新聞因為有授權合作對象的內容問題，所以會排除其他搜尋引擎。
不過知識+等其他的內容服務，會不會爭議比較大？
Comment from lifemirror/笨貓
Date: 2007/10/2, 6:11 下午
新聞因授權而非除其它搜尋引擎是無可厚非, 但是因無名而非排除的話, 就太過分了…..
來個鎖國只會把無名弄得越來越”無名”
Comment from JACK
Date: 2007/10/3, 12:51 上午
一個問題給你們思考：奇摩知識等其他內容，都是YAHOO的，他們辛苦經營的知識內容逐漸有份量，為何要開放給外面的搜尋引擎用?
“曾看過每個論壇，不用註冊入會就可以搜尋的有哪幾個?” 沒叫你登入使用就不錯了!!!
Pingback from SEO部落格免費搜尋引擎排名諮詢活動結束
Date: 2007/10/3, 3:37 上午
[...] BSP，因為現在無名已經不讓 Yahoo 以外的搜尋引擎去抓它裡面的內容了。換句話說，無名的網頁將無法在 [...]
Pingback from roga’s Blog » 丁丁大站又一壯舉…
Date: 2007/10/3, 5:58 上午
[...] 丁丁大站在 XDite 上面事蹟太多，有玩的人就知道，我懶得重複，剛剛收 RSS 發現蔡依林長輩那邊有新聞章：Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ? [...]
Comment from San-Yuan Chen
Date: 2007/10/3, 8:20 上午
To Jack:
知識內容屬於 Yahoo？是屬於 Yahoo 的使用者還是 Yahoo？
辛苦經營？是 Yahoo 辛苦還是他們的使用者辛苦呢？
「『曾看過每個論壇………』」原來匪區那麼多論壇，您都一個個去看過啊？
—-
不想吵架，我覺得開不開放搜尋都是 OK，但請不要把使用者的貢獻當作自己的努力…………
Comment from LGJ
Date: 2007/10/3, 7:07 下午
＞ 一個問題給你們思考：奇摩知識等其他內容，都是YAHOO的，
＞ 他們辛苦經營的知識內容逐漸有份量，為何要開放給外面的搜
＞ 尋引擎用?
這樣子的思考模式，讓我決定，我以後不再使用 y 社的任何東西。也替那些貢獻時間、精力的一大堆使用者感到不值，你們都被 y 社給嚴重消費了！
Comment from quinny～＊
Date: 2007/10/4, 10:23 上午
當初無名難道不是以開放的策略得以引眾多會員的？
結果yahoo買來搞封閉？搞什麼嘛！(拍桌)
哎，yahoo的服務本就都是在搞封閉的，無名的使用者真的只能挫著等….＠＠
Comment from zbar
Date: 2007/10/4, 12:09 下午
之前我問辜狗大神 “”wretch”"
他竟然出現
wretch- 簡 - [ 轉為繁體網頁 ]
http://www.wretch.cc/ - 類似網頁
我的老爺天
啥時變到簡體區拉~@@
Pingback from Yahoo拼Google 誰最快狠準 « 異域星空下的法律對話
Date: 2007/10/4, 5:04 下午
[...] 搜尋引擎技術的提升，可增加使用上的便利性，為使用者所樂見。在台灣，Yahoo跟Google也是二大主要競爭的搜尋引擎。不過，近來有網友指稱，使用Google搜尋無名小站的部落格網頁時，似乎不再像之前有詳細的網址連結、標題、摘要、關鍵字標示，而只剩下空盪盪的標題跟網址連結而已，但使用Yahoo搜尋的結果，卻有完整的標題、連結、摘要和關鍵字標示。是Google的技術退步了嗎？ [...]
Comment from Markmcm
Date: 2007/10/4, 5:35 下午
我寫文章都是為了讓搜索引擎找到的，
這樣的話不搬也不行了呀。
Comment from ghjhfgh
Date: 2007/10/6, 1:52 上午
換個角度想,若你是無名小站的課管
誰喜歡讓自己的服務去讓廣告商無償使用阿!!
http://funp.com/t30211
Comment from maketub
Date: 2007/10/6, 5:19 上午
原來如此，yahoo 作法，真的愈來愈過份了
Pingback from 無名和 Yahoo 知識+ 的搜尋引擎鎖國政策 | None
Date: 2007/10/6, 6:58 下午
[...] 老兵不死，只是退伍：Yahoo! + 無名小站 濫用市場地位、排除其他搜尋引擎 ? [...]
Comment from wretch sucks
Date: 2007/10/9, 12:21 上午
, but wretch had removed robots.txt.
Comment from gslin
Date: 2007/10/9, 8:02 上午
突然發現換版面了…
Comment from MLChen
Date: 2007/10/9, 4:20 下午
台灣 cnet 沒禮貌, 居沒灌上 廖大 稱號..
我們平常稱呼 廖大 都還挪台
Comment from phhaung
Date: 2007/10/9, 8:22 下午
可是很奇怪
用 blogsearch.google.com 然後指定丁丁的 url
還是可以看到新的文章與摘要內文
以時間排序有的還是熱騰騰新出爐的文章
點進去看真的是新 po 的
Blly san 的範例搜尋
http://www.wretch.cc/blog/billypan101&article_id=11714525
在 blogsearch.google.com 指定繁體文的搜尋
也仍在第一位
m ….
blogsearch.google.com 用的方法不一樣嗎 ??
Pingback from 未來只有雅虎搜尋得到無名小站中的內容? « Isaac’s Lifestyle
Date: 2007/10/17, 12:05 上午
[...] 關於此事件的詳情，可以參考「依林」的文章 ~~ [...]
Comment from koy
Date: 2008/5/2, 10:26 上午
拜託…要求我用吃屎+我都還不想用呢…
還得登入!?,辛苦經營?吃屎+一堆亂象叫做辛苦經營?
奇摩吃屎只不過是個平台,知識你確定是奇摩的?
請管理員出來寫百科全書啊!
無名方面反正也沒在用,要變成有名大站就讓它去~(茶)
Write a comment