ひまつぶし雑記帖

perlでエクセルを読む

2020/6/23 [09:00:24] (火) 天気

WINDOWSのActive perlでSpreadsheet、ParseExcel、ParseXLSXを使ってエクセルを読んで作業したのでメモ。

複数のフォルダに入っている、複数のエクセルファイル。
フォルダ名は五十音のひらがな。あかさたな~ってやつ。
ファイル名は日本語だったり乱数だったり、中身とはほぼ関係もなく意味不明なファイル名となっている。

エクセルファイルの特定箇所を確認して、別途登録されているものと違っていたら修正。
エクセルのファイル名を登録されているもの(日本語)にリネーム。

ざっくり、てな作業。
ひとつずつエクセルを開いて、ひとつずつ確認する、なんて手作業はやってられない。作業前から、見逃す・リネームを間違えるのが目に浮かぶようだ。

一覧表を作って確認して、そこから修正すべきものだけコピペする方が早くて確実。

エクセルファイルは「.xls」なので、使うのはSpreadsheet::ParseExcel
エクセルファイルを読み込んで、エクセルのファイル名と該当セルに記載されている名前をタブ区切りで出力するだけのスクリプトになる。



確認が必要なのは1枚目のシートにある3行目C列のセル内容
get_cell(2,2)で該当セル情報を取得(perlは0からなので3番目は2)
セル情報がHASHで入っている。必要なのは値なのでvalueで取得する。

取得する値はutfフラグ付きの日本語になるのでcp932(WINDOWSの文字コード)にして出力。

ここで気づかれると思うけど、このスクリプトは、複数のファイルを一度に処理するようにはできてない。引数に渡されたひとつのエクセルファイルを処理するだけ。

perlにはopendirがあるし、ファイル一覧を取得してループでSpreadsheet::ParseExcelに読み込ませるのが綺麗で正しいやり方。だけど、日本語フォルダ名、日本語ファイル名がうまく渡せない、読み込めなくてハマった。
たぶん文字コードの問題。utfフラグをつけてみたり何もしないまま渡してみたりしたんだけど、どうもうまくいかない。時間もあまりない。

そこでわたしの得意な現物合わせのやっつけ仕事の出番。
よくわかってない人間が間に入るからダメなわけで、だったら機械同士、ソフトウエア同士で直接やりとりしてもらおうとバッチファイルにした。



バッチファイルの for 文で /r をつけると再帰でサブディレクトリも拾ってくれるなんて、今回初めて知った。

このバッチファイルでperlにファイル名を渡すとエラーもなく意図通り読み込んでくれるようになった。いや、上記したように、本当だったらperlだけで済むはずなので、綺麗な解決方法じゃないけど、結果オーライ、だ。

出力されたtsv(タブ区切りファイル)を新しいエクセルに貼りつけ、別途正しい登録名を貼りつけ一覧表を作成する。
そうしたら、エクセルお得意のvlookupでエクセルの該当箇所と正しい登録名の相違を確認。登録名と違っているファイルだけ開いて該当セルを修正する。

また、修正作業には登録名をコピるのでついでに一覧表も修正。
エクセルのファイル名と登録名がこの一覧表の「.xlsx」ファイルに記載されることになるので、Spreadseet::ParseXLSXを使って読み込み、一括でリネームするようにした。



row_range()とcol_range()でシートに記載されている行数とカラム数を取得してループさせて全部読み込ませる。また、vlookupで N/A になっているところは正しい登録名を別セルに記載したので、そちらを読むようにさせた。

ここでもperlだけでリネームはできるんだけど、なんせ日本語のフォルダ名とファイル名。またうまくいかなかったら面倒くさいんで、perlでリネームするのではなく、system関数を使ってWINDOWSに仕事をさせることにした。

といいつつ、リネームは怖いので、別フォルダに同じディレクトリ構成で登録名ファイルをコピーすることにした小心者だ。

日本語のファイル名は見た目分かりやすいけど、スクリプトで扱うのはただただ面倒くさい。
それに、そもそもなことを言っちゃうと。
ファイル名や入力項目などなど、表記の揺れレベルじゃない間違いは、依頼する時点で入力するひとのことを考えて何か仕組みを作らないといかんよなあ。

あ。もうひとつ。
目grep手merge撲滅!ひとのやる手作業を信用しちゃいけない。

image

»電子書籍制作代行についてはこちら

ポケモンGo:新ジム戦がめっちゃ面白くなってた

2017/6/23 [16:43:35] (金) 天気

ポケモンGoが一周年を前に大型アップデート。ジムの仕様ががらっと変わって、今日6/23(金)にリニューアルオープンした。

今までは、ポケモンはCPの高い順に配置されて、どのジムも同じポケモンばかり、カイリューだらけハピナスだらけの金太郎飴。
今度はCP関係なく、用意された6つ空スロットに配置した早いもの順。さらに違う点としては、同じ種類のポケモンが配置できなくなった。カイリューが先に配置されていたらカイリューを配置することはできない。

ジム戦をすると6匹6種類のポケモンとバトルすることになる。
今までのようにカイリュー対策だけ、ハピナス対策だけ考えてラインナップというわけにはいかない、かな。実際、最近ほとんどジムで見なかったポケモン、サンダースやウインディ、リザードン、ラプラスなんかが配置されていた。

ポケモンのタイプや技、相性を考えるのが、今まで以上に面白い。
今回のアップデートで「効果抜群」とか「効果はいまひとつ」とかのダメージボーナスが変更になり、ボーナス特典が増えているとのこと。
カイリューでジム攻めしていてラプラスがいたら別のポケモンにしよう、ということにもなる。
(二重弱点を持つ、カイリュー・バンギラス・ギャラドス・サイドンなんかの使いかたがちょっと面倒になる)

このスクリーンショットは、まだカイリュー、バンギラスなどレガシーなメンツだけど、今後はいろんなラインナップのジムが増えそうだなあ。楽しみ。
image

[06/23 19:17:48]
とはいえ。事務防衛ポケモンが弱体化してるような気がするなあ。「やる気」を削ってCPが下がると顕著。「やる気」がマンタンの一周目はともかく二周目以降がショボイかも。3周目ともなるとシャワーズ一体で6体抜きができちゃうんで、タイプ相性が関係なくなるぞ…ここんとこ調整入ってくれんかな。【ポケモンGo】
お気に入りのポケモン (2016/8/10)
ポケモンGoでウォーキング再開 (2016/9/19)
ポケモンGo:カビゴンが放流されている (2016/9/26)
ポケモンGo:種族のHP順 (2016/9/29)
ポケモンGo:カビゴンの英才教育 (2016/10/24)
ポケモンGo:ハロウィンイベント飴ちゃん祭りの成果 (2016/11/1)
ポケモンGo:ジムバトルに参戦 (2016/11/29)
ポケモンGo:Pokemon GO Plus (2016/12/6)
ポケモンGo:ヤドランでカイリュー退治 (2016/12/29)
ポケモンGo:レギュラーとジムトレーナー (2017/1/20)
ポケモンGo:TL33になりました (2017/2/15)
ポケモンGo:イースターイベントで図鑑埋め (2017/4/18)
ポケモンGo:ハピナス対策【ジム戦】 (2017/5/29)
ポケモンGo:大型アップデート直前 (2017/6/23)
ポケモンGo:新ジム戦がめっちゃ面白くなってた (2017/6/23)
ポケモンGO:レイドバトルで技マシンget (2017/6/28)
ポケモンGo:コイキングレイドバトル (2017/6/29)
ポケモンGo:TL36になりました (2017/7/27)
ポケモンGo:ソロレイドの準備 (2017/7/31)
ポケモンGo:レベル3ソロレイド:ゲンガー (2017/8/9)
ポケモンGo:3鳥捕獲完了 (2017/8/10)
ポケモンGo:技マシン使用履歴 (2017/8/16)
ポケモンGo:宵越しの砂は持たない (2017/8/24)
ポケモンGo:レベル3ソロレイド:カイリキー (2017/8/30)
ポケモンGo:金コイキング捕獲 (2017/9/6)
ポケモンGo:秋分の砂2倍イベント (2017/9/28)
ポケモンGo:今月のレイドバトルはライコウ (2017/10/11)
ポケモンGo:フーディンレイドに惨敗中 (2017/10/17)
ポケモンGo:エンテイ初日GET (2017/11/2)
ポケモンGo:レベル3ソロレイド:ストライク (2017/11/9)
ポケモンGo:ポケモンのMAX強化 (2017/12/6)
ポケモンGo:レベル3ソロレイド:フーディン (2017/12/14)
ポケモンGo:バトルパーティ編成 (2017/12/21)
ポケモンGo:レベル3ソロレイド:ポリゴン (2017/12/22)
ポケモンGo:EXレイド・ミュウツー捕獲 (2018/1/24)
ポケモンGo:EXレイドパスが来た! (2018/2/10)
ポケモンGo:レックウザ終了・伝説系捕獲率 (2018/3/15)
ポケモンGO:噂のミュウをゲット (2018/4/4)
ポケモンGO:カンストポケモン (2018/5/9)
ポケモンGO:力まかせのジムバトル (2018/6/13)
ポケモンGO:ルギア最強説 (2018/6/19)
ポケモンGO:水イベント終了 (2018/6/21)
ポケモンGo:レベル40になった (2018/8/14)
ポケモンGO:カンストポケモンその2 (2018/9/20)
ポケモンGO:ミュウツー事情 (2018/10/18)
ポケモンGO:ミュウツー技開放 (2019/1/2)
ポケモンGO:ブイズでジムバトル (2019/6/4)
ポケモンGO:GOバトルリーグ (2020/2/5)
GOバトルリーグ:44勝61敗 (2020/2/7)
GOバトルリーグ:初の5連勝! (2020/2/12)
GOバトルリーグ:5連敗5連敗 (2020/2/17)
ポケモンGO:GBLで負け続ける (2020/8/23)
GOバトルリーグ:シーズン8でもACE到達 (2021/6/15)
GOバトルリーグ シーズン10開始 (2021/11/30)
GBLシーズン10でACE到達 (2021/12/20)
GBLシーズン11のランク20 (2022/3/7)
GBLシーズン11でACE到達 (2022/6/17)
GBLシーズン12でACE到達 (2022/9/23)
GBLシーズン13でACE到達 (2022/12/18)
GBLシーズン14でACE到達 (2023/3/14)
GBLシーズン14で初のVETERAN到達 (2023/5/15)
GBLシーズン15でACE到達 (2023/6/14)
GBLシーズン16でACE到達 (2023/11/15)
GBLシーズン17でACE到達 (2023/12/17)
GBLシーズン18でACE到達 (2024/5/11)

»電子書籍制作代行についてはこちら

ポケモンGo:大型アップデート直前

2017/6/23 [00:20:33] (金) 天気

ジムに関して大型アップデートが予定されていて、今日現在ジムが閉鎖されて準備中となっている。ジムにアクセスできなくて、もちろんジム戦ができない状態だ。リニューアルオープンは7月上旬らしい。
いろいろ仕様が変わるようで、今までのジム戦とはまったく違うものになりそう。
詳しくはポケモンGo公式サイト https://www.pokemongo.jp/topics/67/ か、そのへんの攻略サイトで確認して予習をしておこう。

実際どんなことになるのかわからないので、アイテムを捨てるわけにもいかず、砂や飴を消費するわけにもいかず…って、ポケモンGoができない状態でもある。
なので、自分の現状を眺めるぐらいしかやることがない。

トレーナーレベル:35

【図鑑】
見つけた数236。捕まえた数230。
第一世代は地域限定ポケモン以外の実装されているポケモンはコンプリート。あ!金のコイキング、赤のギャラドスがまだだった。
第二世代は地域限定ポケモンと180モココ、181デンリュウ、201アンノーンがまだ殘ってる。
メリープはいるので、進化形のモココ・デンリュウは、相棒にして連れ歩けばなんとかなるにしても、卵から出ないアンノーンは無理くさいなあ。

【メダル】
残る金メダルは5つ。
巨大なコイキング、小さいサイズのコラッタ、ピカチュウ、はがねタイプの捕獲、ドラゴンタイプの捕獲。
これはやってりゃそのうち金メダルになるんだろうと思う。
(大型アップデートでメダルの新規追加も予定されていて、これで全部じゃないけど)

ちなみにジョギングメダル(歩いた距離)は2635キロ。Ingressでは3242キロ歩いてる。ナイアンティックのゲームで6000キロ弱歩いてることになるんだなぁ。メタボな数値が軒並正常値になるわけだ。

【ポケモンボックス】
課金して500まで拡張。今のところ381匹いる。
そのうちCP3000超はカビゴン3匹、カイリュー、ギャラドス2匹、ハピナス1匹。
CPについては、大型アップデート後のジム戦ではあまり重要ではなくなる、という噂。
ポケモンを育成強化するのが面白いゲームでもあるので、今後どうなるのか知りたいけど、実際にアップデートされてみないとわからないところ。ジムにはユーザーがポケモンを配置する、いわばユーザーがゲームを作る部分なので、アップデート後のユーザーの動向次第。どのポケモン・タイプ・技が重要になってくるのか、まったくわからない。

わかっていることとしては、これからはジムに6匹、各1種類しか置けなくなって、今まであまり出番のなかったポケモンも並ぶことになるから戦闘のバリエーションが増えてちょっと楽しみ。

image

[06/23 07:05:29]
…って、今ポケモンGOを立ち上げてみたら、ジム解禁になってるじゃん。さっそく後でいってみよう。【ポケモンGo】
お気に入りのポケモン (2016/8/10)
ポケモンGoでウォーキング再開 (2016/9/19)
ポケモンGo:カビゴンが放流されている (2016/9/26)
ポケモンGo:種族のHP順 (2016/9/29)
ポケモンGo:カビゴンの英才教育 (2016/10/24)
ポケモンGo:ハロウィンイベント飴ちゃん祭りの成果 (2016/11/1)
ポケモンGo:ジムバトルに参戦 (2016/11/29)
ポケモンGo:Pokemon GO Plus (2016/12/6)
ポケモンGo:ヤドランでカイリュー退治 (2016/12/29)
ポケモンGo:レギュラーとジムトレーナー (2017/1/20)
ポケモンGo:TL33になりました (2017/2/15)
ポケモンGo:イースターイベントで図鑑埋め (2017/4/18)
ポケモンGo:ハピナス対策【ジム戦】 (2017/5/29)
ポケモンGo:大型アップデート直前 (2017/6/23)
ポケモンGo:新ジム戦がめっちゃ面白くなってた (2017/6/23)
ポケモンGO:レイドバトルで技マシンget (2017/6/28)
ポケモンGo:コイキングレイドバトル (2017/6/29)
ポケモンGo:TL36になりました (2017/7/27)
ポケモンGo:ソロレイドの準備 (2017/7/31)
ポケモンGo:レベル3ソロレイド:ゲンガー (2017/8/9)
ポケモンGo:3鳥捕獲完了 (2017/8/10)
ポケモンGo:技マシン使用履歴 (2017/8/16)
ポケモンGo:宵越しの砂は持たない (2017/8/24)
ポケモンGo:レベル3ソロレイド:カイリキー (2017/8/30)
ポケモンGo:金コイキング捕獲 (2017/9/6)
ポケモンGo:秋分の砂2倍イベント (2017/9/28)
ポケモンGo:今月のレイドバトルはライコウ (2017/10/11)
ポケモンGo:フーディンレイドに惨敗中 (2017/10/17)
ポケモンGo:エンテイ初日GET (2017/11/2)
ポケモンGo:レベル3ソロレイド:ストライク (2017/11/9)
ポケモンGo:ポケモンのMAX強化 (2017/12/6)
ポケモンGo:レベル3ソロレイド:フーディン (2017/12/14)
ポケモンGo:バトルパーティ編成 (2017/12/21)
ポケモンGo:レベル3ソロレイド:ポリゴン (2017/12/22)
ポケモンGo:EXレイド・ミュウツー捕獲 (2018/1/24)
ポケモンGo:EXレイドパスが来た! (2018/2/10)
ポケモンGo:レックウザ終了・伝説系捕獲率 (2018/3/15)
ポケモンGO:噂のミュウをゲット (2018/4/4)
ポケモンGO:カンストポケモン (2018/5/9)
ポケモンGO:力まかせのジムバトル (2018/6/13)
ポケモンGO:ルギア最強説 (2018/6/19)
ポケモンGO:水イベント終了 (2018/6/21)
ポケモンGo:レベル40になった (2018/8/14)
ポケモンGO:カンストポケモンその2 (2018/9/20)
ポケモンGO:ミュウツー事情 (2018/10/18)
ポケモンGO:ミュウツー技開放 (2019/1/2)
ポケモンGO:ブイズでジムバトル (2019/6/4)
ポケモンGO:GOバトルリーグ (2020/2/5)
GOバトルリーグ:44勝61敗 (2020/2/7)
GOバトルリーグ:初の5連勝! (2020/2/12)
GOバトルリーグ:5連敗5連敗 (2020/2/17)
ポケモンGO:GBLで負け続ける (2020/8/23)
GOバトルリーグ:シーズン8でもACE到達 (2021/6/15)
GOバトルリーグ シーズン10開始 (2021/11/30)
GBLシーズン10でACE到達 (2021/12/20)
GBLシーズン11のランク20 (2022/3/7)
GBLシーズン11でACE到達 (2022/6/17)
GBLシーズン12でACE到達 (2022/9/23)
GBLシーズン13でACE到達 (2022/12/18)
GBLシーズン14でACE到達 (2023/3/14)
GBLシーズン14で初のVETERAN到達 (2023/5/15)
GBLシーズン15でACE到達 (2023/6/14)
GBLシーズン16でACE到達 (2023/11/15)
GBLシーズン17でACE到達 (2023/12/17)
GBLシーズン18でACE到達 (2024/5/11)

»電子書籍制作代行についてはこちら

人妻・熟女ものが増えたワケ

2014/6/23 [17:29:11] (月) 天気

twitterで見かける、今回の児ポ法の影響で萎縮・自主規制の結果、(安全な)人妻・熟女ものが増えたという話。
もちろん「今回の」児ポ法の影響はあってしかるべきだけど、今に始まったことじゃない・「今回」の法案が決定的な要因ではないだろう。

わたしがエロ漫画編集をやっていた当初の頃からだから、もう30年ほど前から、児童や聖職者(教師、看護婦、警官など)、近親者を対象としたエロ漫画だったり、犯罪を想起させる漫画(ひとコマの中でナイフと顔が一緒に並ぶとかの描写も含めて)は都条例の指定対象となっていた。当時からこの手のテーマ、ストーリー、描写は自主規制してきた。
表現の自由とか言うとよくわからないし面倒くさいことがもろもろあるんだけど、これ描いたら指定されて次はない、という生活のかかった実感のあるところでのやりとりを都庁で(ありがたくないんだけど)頻繁にしていた。
(宮崎事件でいろいろなことが決定的に変わってしまったと思ってんだけど、昔からここはうまくまとまらないので黙っておこう)

なので「今回の」児ポ法が原因と決めつけてしまっては他にあるかもしれない要因が見えなくなってしまわないかと思ってしまう。

人妻・熟女ものが増えたのは、ロリ自主規制よりももしかすると
「エロ本業界の厳しすぎる現状について書きました」-ダリブロ 安田理央Blog
現在のエロ本の読者は40~50代でネットが出来ない人が大半

こっちの方が人妻・熟女ものが増えた理由になってるような気がする。
エロ漫画、エロ本で抜いていたのがたぶんこの通り40代〜50代だろう…まさにわたしがそうなんだけど。となるとその対象はやっぱりそのぐらいの年齢まで広がるもので「売れるから」人妻・熟女ものが増えた、というのが正解だと思ってる。

雑誌などの紙媒体じゃないけど。動画配信サイトなどでも「熟女」「人妻」は売れるジャンル。ネットができるできないに関わらず、人妻・熟女は売れる時代になったということかも。

少子高齢化。これからの日本は徐々に黄昏の世界に入っていくんだろうなあ、という感想で終了します。

»電子書籍制作代行についてはこちら

ローカルHTMLを表示するだけのiOSアプリ

2013/6/23 [19:45:50] (日) 天気

UIWebViewというのがある。
これを使えば、iOSアプリ(iPhoneやiPad)で簡単にHTMLを読み込んで表示してくれる。ローカルにおいたHTMLも同じく。

ということで、ガワさえ作ってしまえば、中身はHTMLとCSSで頑張ればアプリっぽいものができる。というかほぼまんまWEBの再現が可能。とはいえ、この程度のシロモノがapp storeの審査を通るとはとても思えないので「AD-HOC配布で野良アプリ」もしくは「専用端末化したiOSデバイスにプリインストールして配布」というのが使いどころだろう。

とりあえずこのローカルHTMLを読むアプリは、ド素人、超初心者でも作れるiOSアプリということで、Xcode 最初の1歩としては(わたしのような素人には)ちょうどいい練習問題っぽい。

・Xcodeを立ち上げる。
↓新規作成する
↓「Single View Application」を選択
↓「Product Name」「Organization Name」「Company Identifier」など適当に
 ※ Storyboardsがよくわからないので、チェックを外しておいた。
↓プロジェクトフォルダを作成する
・デフォルトのシンプルな設定でXcodeが立ち上がる。

ソースを2つ編集する。

ViewController.h の @interface の行の下に追加。
(WEB表示オブジェクト(?)はwviewという名前ですよと設定・宣言する)


ViewController.m の viewDidLoad の中に LoadRequestうんぬんの行を追加。

プロジェクトフォルダの中のResourceフォルダを探して、そこにあるindex.htmlを読み込んで表示しますよ、ということなので、Resource フォルダを作ってそこにHTMLやCSS、画像などを入れるようにする。

Xcodeでプロジェクトフォルダを右クリックして「Add Files to "SAMPLE"」(SAMPLEはプロジェクト名)でリソース用のHTMLなどが入ったフォルダを追加する。
※ この時、HTMLの中から相対パスで画像などを指定できるように「Create folder references for any add folders」にチェックを入れる。

Xcode の便利だけど面倒くさいのが画面設計。UIが良く出来ていて、部品をドラッグアンドドロップするだけでそれっぽい見た目のできあがり。

ViewController_iPhone.xib をクリックするとiPhoneのモックアップ(?)が現れる。
とりあえず表示するだけなら、そこにWebViewオブジェクトをドラッグアンドドロップ(このWebViewオブジェクトの中にHTMLが表示されることになる)すれば完成。
あとは、シミュレーターにiPhoneを指定して、「Run」するだけ。

以下は、index.htmlに戻るとかリロードなどのコントロールをつけたもの。
image 
コントロールをつけるとなると、とたんに考えることがいろいろ増えるので試行錯誤で大騒ぎ・大変。なかなか思うようにいかない…けど、今日のところは終了、続きはまた明日以降。もう初老だ。7時間程度ぐらいしか続かない。

・画面・レイアウト設計
・ソースコードの編集
・画面レイアウトされたオブジェクトをソースコードの該当するところに紐づける

大雑把に、XcodeでのiOSアプリの作成はこの3つかな。

Xcodeのソースについて調べていて。バージョンごとで書き方がけっこう違うんで、混乱。基礎からきちんと訓練を受けたプログラマならすぐに解決だろうなあと、うらやましい。

 

»電子書籍制作代行についてはこちら

PVなんてアテにしちゃいけない

2012/6/23 [13:04:47] (土) 天気

少し前まで仕事で毎日アクセス解析をしていた。
何のためにアクセス解析なんてのをするのかというと、ユーザーの興味はどこにあるのか、ユーザーをうまく誘導できているか、ユーザーが困っているのはどこか、を調べて、地道に地味にサイトを改修、リピータを増やしてひとの集まるサイトにするため。

apacheの生ログが原典。

apacheのアクセスログを見ればスグにわかる。
・どのページに着地したのか。
・どこから来ているのか。
・ブラウザはなにを使っているのか。

apacheのアクセスログをもとに加工・小細工が必要。
・何ページ見ているのか。
・滞在時間。
・離脱したページ。

サイトの構成と合わせて見るべきこと。
・ページ遷移の関連性
・ページの最後まで見てるかどうか。

アクセスログ解析で把握するのは、大雑把にこの3つ。

1と2は単純に集計すれば出てくる。
概略を知るには、google analyticsなどアクセス解析サービスを使えばいい。ただ、この手のサービスは、サイト規模が大きくなると=アクセス数が多いと、数字を足切りされたり丸め込まれたりすることがあるので、注意が必要。

3はページのURLを分類したりそれをもとに集計したり。
サイトの意図を強く反映した解析が必要なもので、市販のアプリやWEBサービスでは痒いところに手が届かない。サイト構成に現物合わせでスクリプトなりを作ることになる。さらに、特集企画などのページを作ってそこから購入に繋げる、なんてことはしょっちゅうあるので、その場その時に合わせて作らなきゃいけない。

てなことをやるにあたって、問題なのが、クローラとかロボットとか言われるアクセス。
googleやbingなどの検索エンジンがページをインデックスするためにアクセスしてくるんだけど、人間じゃないアクセスは、アクセス解析の邪魔。

通常、クローラはユーザーエージェントに bot や crawlerなどが含まれるので、Useragentを見て分別、クローラのアクセスを集計から外すことができる。
ところが、msnbotというマイクロソフト、bingのクローラは、ユーザーエージェントにクローラであることを示す単語が含まれない。ブラウザを使ってアクセスしている人間と区別がつかない。ipアドレスからホストをひけば、msnbot という文字がホスト名入ってるのでそこで初めてクローラだと判断できる。けど、ipアドレスからホスト名を取得する gethostbyaddr は、処理が重い場合がある。ウチみたいな辺境ならともかく、巨大なECサイトなど、アクセスログが膨大な場合、処理するのに時間がかかるのは困る。

たとえば一日あたり。ユニークユーザーが6000とかページビューが50万とかあるうち、雑音として入り込んでもしょうがないよね、という範囲ならいいけど。クローラ・ロボットはいろんな名前、カタチでやってくる。毎日アクセスログをチェックして新たなクローラがすり抜けて混じってないか見なきゃいけない。消耗戦。

ちなみに、apacheのログ解析の定番正規表現。これが最速らしい。

 
ネットの広告屋は「こちら、アクセスがこんなにあって、ページビューはすごいですよ、なのでひとついかがですか」なんてことを言ってるけど、そのアクセス、本当に人間がページを見てるアクセスなのか、また別の話なんだろうな。

image
WEBって、ほんと基準になるものがなさすぎ。 

»電子書籍制作代行についてはこちら

profile

profile

 
doncha.net
contact:
»運営者
@t2aki@tokoroten.doncha.net

ため池

[2024/12/11 18:32]
弘南鉄道 大鰐線のこと
https://www.torizuka.club/2024/12/09/%E5%BC%98%E5%8D%97%E9%89%84%E9%81%93%E3%80%80%E5%A4%A7%E9%B0%90%E7%B7%9A%E3%81%AE%E3%81%93%E3%81%A8/
>ではどうして弘南鉄道は今から3年半も先の2028年3月末に廃止すると表明したのでしょうか。
>この時期を選んだのは来春高校に入る新入生が卒業する時期だからです。
>きちん ...

[2024/12/11 15:17]
年末進行だな…いつもより10日ほど発注が早い。元データもたぶん今日あたりなので待機。
検診目前で禁酒期間だし、ちょうどいいっちゃいいか(え?

[2024/12/11 12:04]
いかん、ねこあつめしかしてないんだが…。
こうして恍惚のひとにまっしぐらなのか。ぽつねんとTVばかり見てるおじいちゃんと同じ位置に到達しようとしてる、ぞ。

@t2aki@tokoroten.doncha.net

検索
<<2024/06>>
      1
2345678
9101112131415
16171819202122
23242526272829
30

リンク

WINDOWS版サウンドノベル
おかえりください PC WINDOWS版サウンドノベル
『おかえりください』体験版

[2 Page] »
1 2

TOTAL:3003

2024 (26)
1 (2)
2 (2)
3 (1)
5 (1)
7 (2)
8 (2)
9 (3)
10 (4)
11 (8)
12 (1)
2023 (53)
1 (1)
2 (5)
3 (1)
4 (1)
5 (3)
6 (9)
7 (9)
8 (6)
9 (5)
10 (3)
11 (2)
12 (8)
2022 (16)
1 (1)
3 (2)
6 (2)
7 (1)
8 (4)
9 (2)
10 (1)
11 (2)
12 (1)
2021 (12)
1 (3)
2 (1)
6 (1)
8 (2)
9 (1)
10 (1)
11 (2)
12 (1)
2020 (18)
1 (2)
2 (6)
4 (1)
6 (1)
7 (2)
8 (2)
12 (4)
2019 (17)
1 (3)
2 (4)
3 (2)
4 (2)
5 (1)
6 (1)
8 (1)
10 (1)
12 (2)
2018 (21)
1 (3)
2 (2)
3 (2)
4 (1)
5 (1)
6 (6)
8 (1)
9 (1)
10 (2)
12 (2)
2017 (32)
1 (2)
2 (1)
4 (2)
5 (1)
6 (6)
7 (3)
8 (5)
9 (3)
10 (2)
11 (2)
12 (5)
2016 (41)
1 (5)
2 (5)
3 (2)
4 (3)
5 (4)
6 (6)
7 (2)
8 (2)
9 (3)
10 (1)
11 (4)
12 (4)
2015 (99)
1 (11)
2 (12)
3 (9)
4 (6)
5 (8)
6 (8)
7 (3)
8 (5)
9 (16)
10 (6)
11 (1)
12 (14)
2014 (112)
1 (16)
2 (5)
3 (6)
4 (12)
5 (16)
6 (19)
7 (9)
8 (6)
9 (4)
10 (8)
11 (6)
12 (5)
2013 (145)
1 (24)
2 (15)
3 (18)
4 (23)
5 (14)
6 (11)
7 (7)
8 (11)
9 (5)
10 (4)
11 (6)
12 (7)
2012 (103)
1 (1)
2 (1)
3 (4)
4 (3)
5 (7)
6 (26)
7 (17)
8 (5)
9 (8)
10 (10)
11 (11)
12 (10)
2011 (54)
1 (4)
3 (7)
4 (4)
5 (14)
6 (6)
7 (3)
8 (3)
9 (1)
10 (4)
11 (2)
12 (6)
2010 (70)
1 (12)
2 (7)
3 (6)
4 (6)
5 (3)
6 (10)
7 (6)
8 (4)
9 (3)
10 (4)
11 (3)
12 (6)
2009 (144)
1 (15)
2 (12)
3 (12)
4 (6)
5 (15)
6 (6)
7 (10)
8 (9)
9 (17)
10 (12)
11 (14)
12 (16)
2008 (148)
1 (10)
2 (6)
3 (10)
4 (11)
5 (13)
6 (10)
7 (13)
8 (19)
9 (18)
10 (12)
11 (13)
12 (13)
2007 (106)
1 (7)
2 (5)
3 (3)
4 (7)
5 (5)
6 (9)
7 (8)
8 (13)
9 (18)
10 (11)
11 (8)
12 (12)
2006 (158)
1 (28)
2 (28)
3 (25)
4 (7)
5 (9)
6 (7)
7 (12)
8 (13)
9 (10)
10 (7)
11 (6)
12 (6)
2005 (350)
1 (31)
2 (26)
3 (26)
4 (27)
5 (29)
6 (30)
7 (32)
8 (30)
9 (30)
10 (32)
11 (29)
12 (28)
2004 (292)
1 (24)
2 (24)
3 (29)
4 (27)
5 (28)
6 (25)
7 (26)
8 (24)
9 (12)
10 (19)
11 (26)
12 (28)
2003 (318)
1 (22)
2 (25)
3 (21)
4 (28)
5 (28)
6 (28)
7 (28)
8 (29)
9 (26)
10 (29)
11 (28)
12 (26)
2002 (317)
1 (29)
2 (26)
3 (26)
4 (25)
5 (28)
6 (30)
7 (27)
8 (21)
9 (25)
10 (27)
11 (28)
12 (25)
2001 (277)
1 (17)
2 (21)
3 (23)
4 (20)
5 (31)
6 (18)
7 (26)
8 (25)
9 (29)
10 (19)
11 (24)
12 (24)
2000 (53)
6 (9)
7 (4)
8 (2)
9 (3)
10 (1)
11 (15)
12 (19)
1999 (3)
7 (1)
10 (2)
1998 (18)
9 (9)
10 (7)
11 (2)