‘ウェブサイト’ カテゴリーのアーカイブ

検索エンジンのクロールのおかげでAPI制限に引っかかった

2009 年 8 月 8 日 土曜日

これは一切思い浮かばなかったわ。クローラーのアクセス対策をしなきゃいけないとは。なんてこったい。

しかし、これはgoogleやらのガイドラインに反するんじゃないんだろうか??キャッシュが無い場合はどうしようかな??

う~ん

2009 年 8 月 2 日 日曜日

例えば、他サイトにリンクした場合リンクしたサイトに問題があったとして、リンクした側の評価は下がっても、リンクされた側の評価は変わらないよな?

害のあるサイトからリンクしたら相手の評価が下がるわけないもんなぁ~・・・

こっそりやってた改造した手軽に楽天ショップ、なんの成果も出さずにいつのまにかインデックス削除される

2009 年 7 月 23 日 木曜日

****.netに一致する情報は見つかりませんでした。

死ね。こんな配布されてるスクリプトで稼ごうと思った俺死ね。

2つとも成果が出てる!

2009 年 7 月 19 日 日曜日

一週間ほど前の日記で行った実験が明らかに効果が出始めた。
まず、100%復活は無理だと思っていた家電価格コムだが、

www.shopkakaku.com にある日本語のページの検索結果 854

なんと一度スパム判定を受けたにも関わらず、

・product/URLエンコード → gp/分けの分からん英数文字列.html
・商品内容の表示順番をめちゃくちゃに

で復活した。アクセスはあいもかわらず一切ないが、とりあえずインデックスされたことが俺にとっては成功なのだ。
スパム判定にもいろいろあって、おそらく価格家電コムが受けた判定は一番緩いものだったに違いない。

・特定URLのインデックスを止める
・特定ドメインのインデックスを止める
・特定IPのインデックスを止める

おそらくこんな感じになっていたのではないだろうか?なのでコンテンツは変わらないがURLが変化したことでスパム判定を回避できた。

しかし理解できないのはこのインデックスの速度だ。以前はPRが3だったので、「PR効果ってマジ凄くね?w PR低いサイトって絶対インデックスされないんじゃね?」とも思っていたが、今はPR2。これは完全比較と同じPRなのでこの速度は説明がつかない。

価格家電コムも驚いたが、もっと驚いたのはとある放置サイトの実験。
放置サイトのアクセスは作成数ヶ月以来、1day/0~1PVを誇っていたが、

本日は1day/PV61。明らかに成果が出てます!本当にありがとうございました!
8日でPVを∞倍~61倍にしたことになる。元がショボいからだけど、俺至上、初めてまともな成果が出た。というかはじめてまともなアクセスを稼いだw
さらっと言っているが本当に感無量だ・・・ だって4年間まともなアクセス無かったんだもん・・・
このまま三桁いってくれ・・・!そしてサーバ代とドメイン代を返してくれ!
もうさくらインターネットも契約しちゃったし後戻りできないんだよ><
しかし、インデックス数は300から240に低下してる・・・w 被リンク数も0のままw
インデックス300でアクセス0とインデックス240でアクセス60なら俺はアクセス60を取るぞおおおお!!

他のサイトでも同様の実験を行い、成功したら俺は完全にアクセス数一桁の壁を突破したことになる。
価格家電コムのときとは違う・・・。今回は理由が分かっているんだからなあああぁああ!待ってろよgoogleeee!!

家電価格コム、普通にインデックスされ始めてた

2009 年 7 月 16 日 木曜日

俺は鼻水を噴出した。
前回から実験してみた、

・product/URLエンコード → gp/分けの分からん英数文字列.html
・商品内容の表示順番をめちゃくちゃに

で再びインデックスされ始めてた。
され始めただけで、速度遅いしもう復活は無理だろうけど。

2つ実験

2009 年 7 月 11 日 土曜日

家電価格コムが死んだので、また一からのスタートだ。・・・が、旧家電価格コムはなぜかPRが2のままだし、全てのインデックスが消えたわけじゃない。
という点にかけて昨日から旧家電価格コムで一つの実験を行っている。

・product/URLエンコード → gp/分けの分からん英数文字列.html
・商品内容の表示順番をめちゃくちゃに

さすがになんの意味もなかった・・・w ゾンビのように復活させようと思ったが。
クローラーは来るけど、インデックスしない。こんなことでインデックスをまた開始するわけないよな・・・ でもそれが分かっただけで十分です。

もう一つは、とある放置サイトで実験。
インデックス数300、被リンク数0、アクセス0。
どうなることやら。
一週間後に期待する。

お終い

2009 年 7 月 11 日 土曜日

[家電価格コムちゃんを救う会]
家電価格コムを救う会
┏━━━━━━━━┓
┃  /         \  ┃ 家電価格コムちゃんは
┃/             \┃ 誕生時からインデックスに弱く
┃                 ┃ 自立するにはPRが必要です。
┃    _____    ┃
┃  / ─   ─\    ┃ しかしPRを得るには数百という
┃/丶 \` ´/ \  ┃ 莫大な協力サイトが必要です。
┃|     ∀    | ┃
┃\          /  ┃ 家電価格コムちゃんを救うために
┃/ ̄ ̄ ̄ ̄ ̄\   ┃ どうか協力をよろしくお願いします。
┗━━━━━━━━┛
チーン

site:http://www.shoppingkakaku.com/ に一致する情報は見つかりませんでした。

ちなみに今日の21時ごろは1300ほどインデックスがありました。一日100から150ページほど順調にインデックスされていましたが、今日未明死亡を確認いたしました。
実に誕生から10日でした。
尊い命に対する皆様の多大なる協力、援助、お言葉、本当にありがとうございました。

結論:一度スパム判定を食らったサイトを301で転送して復活させようと思うなかれ。すぐ死ぬ。

疑問:301で復活ではなく、普通に別ドメインをとってインデックスさせるどうなるのか?googleはスパム判定したサイトのソースを保存しているんだろうか?

  / ─   ─\
/丶 \` ´/ \ チラッ

 /  _ノ  ヽ、_ \
/  /⌒)   ‐=・=- \ (, こ ┼’っ l, |
                     l     ノ

完全比較をさくらインターネットに変更、さくらインターネットのURL書き換え問題解消&新たな問題発生

2009 年 7 月 10 日 金曜日

完全比較をXREAからさくらインターネットへ非難させてみた。1時間ほど404だったので多分インデックスは消えるだろう。その後に期待する。それにしても明らかにajax部分が早くなったなwよかったよかった

そして先日の.htaccessでのRewriteRuleなURL書き換え問題がようやく完全解決した。

RewriteEngine On
RewriteBase /
RewriteRule ^test/(.*)$ test.php?v=$1
http://test.com/test/asdf

で完全動作。しっかりと$_GETで値を取得できている。
さくらインターネットではRewriteBase /でファイルがあるフォルダを指定しないとサーバが「どこのどれに値を飛ばすんだよボケカスが」状態になってしまうらしい。
完全比較のスクリプトをさくらインターネットのサーバにアップしたが、家電価格コムと違い、書き換えている部分があまりに多く、なんでわざわざ問題ないスクリプトを書き換えなきゃいけないんだよwと思い、もう一度調べなおすとgoogle先生は答えを教えてくれたのだ。ありがとうgoogle先生。
つーかRewriteBase /があるとローカルで404なんすけど^^; まぁいいか

しかしここで新たな問題が発生。
include (’XML/Unserializer.php’);
が動かない!どうやってもNo such a file or directoryになっちまう!
どこに格納してんだ!インストールされてないのかな?
むかついたので、@でエラー表示をオフにしたら動いた。
過去の俺が意味も無くインクルードしてただけらしい。アホです。
でも今後のためにしっておきたい。どうすりゃあインクルードできるのよUnserializer.phpはw

あと半自動投稿ブログも作った。
FC2は投稿APIからカテゴリ生成が出来ないみたい。なめてんのか。
あとスポンサーブログパーツも。GASTRONER.COMのPRを上げよう。

やることがないなら探せばいいじゃない

2009 年 7 月 8 日 水曜日

ということで、アクセスが0になって再び一気にやる気を無くしたがもう一度勉強を開始することにした。サーバ代は無料ばかりだったのでそんなに払ってないがドメイン代だけは回収したい。
インデックスといえばスパムサイト。インデックスされなければどんなサイトも存在しないのと同じ。なぜならアクセスがないから。
ということでまたスパムサイトに学ぼう。

とりあえず一つ思ったのはURL。
http://test.com/aaa

http://test.com/aaa/
googleにとって何か違う影響を及ぼすのだろうか?
俺は今まで上を選択してきたが、どうも下のほうが圧倒的に多いようである。
まぁ、上のほうは明らかに”値”って感じだしな。英語圏ではかなり違うかもしれない。
ということで、今後は下でいこうと思う。
AllowEncodedSlashes On
XREAではなぜか動かない。そのため今までは大文字の/に変換をかましていた。

次に主要のページ郡をURLエンコードではなく、動的なページだと思われないよう数値化しようと思っていたが、とりあえず保留にする。
なぜなら多くのスパムサイトがURLエンコードのまま扱っており、現在ではあまり関係なさそうだから。

次にサイトマップだ。
サイトマップは自動生成するスクリプトを全てのサイトに組み込みながらも、googleに教えることはなかった。いや、過去一度、家電価格コムでは教えたことがある。
まったく意味がなかったので他のサイトは送信しなかった。
しかし、「もしかしてサイトマップを送信していればもっとインデックスがあったのでは?」と思いたくないので今後はちゃんと送るようにしよう。

とりあえず自分用メモ、これだけ。

価格家電コムのPRが3から2へ下落

2009 年 7 月 7 日 火曜日

価格家電コムのPRが3から2へ下落していることが分かった。
アクセス0はこれが原因か!?とも思ったが、ちょっと待ってほしい。
スパムサイトは元からPRなんて無いのに、大量アクセス、大量インデックス。
俺もなんの役にも立たないサイト作って、スパマーになろうかななんて思ったけど、今まで作ったサイトもどれもまともにインデックスさせられないのに、スパマーになって成功できるわけがないじゃないか。スパマーなめんな。
googlebotの毎分のアクセスも、5分置きほどになってきた。
なにか根本的なものを見落としてるのか?