アクセスログ解析ソフトウェアの開発

データの洗浄/クレンジング

• 生ログから Combined Log Format に一致しないレコードを削除。

ノーマライズ ルール

IPアドレス string

逆引きされていないならそのまま。

アクセス時刻

年は4桁の数字、月は2桁の数字、日は２桁の数字。時、分、秒はそれぞれ2桁の数字。

リクエスト パス

リクエスト リソースのディレクトリまたはファイル名まで

リクエスト クエリー

リクエスト リソースのクエリ

ブラウザ

クライアントのブラウザの名称。推定不能の場合、Unknown。

プラットフォーム

クライアントのOSでデバイス環境。推定不能の場合、Unknown。

ステータス コード

数字

HTTP メソッド

生ログからそのまま

HTTP プロトコルとバージョン

生ログからそのまま

リファラー ホスト

リファラ文字列から抽出したホスト名。逆引きでホスト名を取得。

リファラー パス

リファラ文字列から抽出した path

リファラー クエリー

リファラ文字列から抽出した query

ユーザの設定

リクエストURI、リファラーを置換ルールを設定する事で書き換えることができる。

ファクト テーブル

• fact_key (レコード番号)
• IPアドレス
• (ホスト名)
• 年
• 月
• 日
• 時
• 分
• 秒 (リクエスト順序の判定に必要かもしれない程度なので未定)
• リクエスト URI - リーソース パス
• HTTP メソッド
• HTTP ステータスコード
• プロトコル(バージョン含む)
• リファラ ホスト
• リファラ パス
• リファラ クエリ
• ユーザ エージェント

ユーザ エージェントはブラウザとプラットフォームに分割したいが、ウェブ クローラの扱いをどうするか検討中。

ファクトテーブルの最大レコード数やデータベースのサイズは未定。大きくても1年単位で分割するのが理想かな。

ディメンション テーブル

basic

DW からセッションIDを付与して、ユーザー設定を行う。DW をさらに洗浄した感じ。

daily visitors

日別のビジター数とセッション数

• Dependent: 年月日
• Independent: ビジター数、セッション数

hourly visitors

時間別のビジター数とセッション数

• Dependent: 時刻(０時〜２３時の１時間毎で)
• Independent: ビジター数、セッション数

page monitor

リクエストURLの集計。

• Dependent: リクエストURL
• Independent: ビュー、進入回数、離脱回数

clickstream

ページの閲覧順序(クリック順序)

• Dependent: session ID
• Independent: path