Author Archives: のびー

のびー

About のびー

株式会社ホットポット（現 イー・ガーディアン株式会社）（アルバイト）2005年1月～2006年4月 　↓ 株式会社エディア 2006年4月〜2007年7月 　↓ 株式会社パクレゼルヴ 2007年8月〜2010年7月 　↓ グルーポン・ジャパン株式会社 2010年8月〜2011年12月 　↓ ミューズコー株式会社 2012年2月3日〜2013年12月31日 　株式会社パクレゼルヴ からの出向扱いにて所属。 　↓ 株式会社PRECS 2014年1月 いっぱい会社渡り歩いてるように見えるけど、転職は1回しかしてません！

q Text as Data

By | 2015/03/03 8:03 PM
Comment

http://harelba.github.io/q/

tsvファイルやcsvファイル等をそのままSQLであれこれしてしまおうという感じ。

ということで面白そうなので使ってみました。

Shell
1
wget https://github.com/harelba/packages-for-q/raw/master/rpms/q-text-as-data-1.5.0-1.noarch.rpm

で、rpm取得してインストール

Shell
1
rpm -ivh ［ダウンロードしたファイル］

早速使ってみましょう。

コレ、CSVとかで無くても大丈夫見たいなのです。
なので今回はアクセスログをゴニョゴニョしてみます。

Shell
1
2
less /var/log/httpd/access.log | \
q select * from - limit 10

で行けるみたいです。

出力結果は、まぁ元のファイルに依存するみたいなのでそれぞれ見ていただければと思います。

オプション
-D
　出力のファイルのデリミタ
　ex)
　　-D $’\t’　=>　TSVファイル
-d
　入力のファイルのデリミタ
　ex)
　　-d ,　　　=> CSVファイル
-O
　出力ファイルのヘッダーを出力
-H
　入力ファイルのヘッダーをカラム名として利用
-e
　入力ファイルの文字エンコーディング
-Q
　クエリの文字エンコーディング

などなど
後は

Shell
1
man q

でご確認を

access.log
TeX
1
2
3
4
5
6
7
8
9
10
11
12
13
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:52 +0900] "GET / HTTP/1.1" 200 13483 - "Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11B554a Safari/9537.53" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:52 +0900] "GET / HTTP/1.1" 200 13483 - "Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11B554a Safari/9537.53" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:30 +0900] "GET / HTTP/1.1" 200 13431 - "Mozilla/5.0 (Linux; U; Android 4.2.2; ja-jp; SH-07E Build/SA160) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:43 +0900] "GET /article-list/?abcid=4799 HTTP/1.1" 200 8449 http://precs.co.jp/?paf=MEG_DAILY_20150302_SP&openid=201503022504645 "Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:07 +0900] "GET /article-list/?abcid=4793 HTTP/1.1" 200 11175 http://precs.co.jp/ "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B440 APP_CLINET/WEBVIEW/V3.1" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:17 +0900] "GET /cart-list/ HTTP/1.1" 200 6238 http://precs.co.jp/article/detail/148339?color_id=242483 "Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A366 Safari/600.1.4" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:34 +0900] "GET /article-list/?abcid=4456 HTTP/1.1" 200 9768 http://precs.co.jp/?paf=affi_smart-c "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B466 Safari/600.1.4" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:03 +0900] "GET /article-list/?abcid=4605 HTTP/1.1" 200 8719 http://precs.co.jp/?paf=MEG_DAILY_20150302_MB&openid=201503022165761 "Mozilla/5.0 (iPhone; CPU iPhone OS 7_1 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D167 Safari/9537.53" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:20 +0900] "GET /article-list/?abcid=4523 HTTP/1.1" 200 10540 http://precs.co.jp/ "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B440 APP_CLINET/WEBVIEW/V3.1" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:16 +0900] "GET /jb/s_css/set_all2.css?v=2012036843 HTTP/1.1" 200 22671 "http://precs.co.jp/product-list/?slid=4336&maf=MEG_DAILY_20150301_SP&openid=2015030126175&tc=A_5_1__12" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B466 Safari/600.1.4" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:01 +0900] "GET / HTTP/1.1" 302 20 - "Mozilla/5.0 (iPad; CPU OS 6_1_3 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10B329 Safari/8536.25" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:17 +0900] "POST /cart-cart_data/ HTTP/1.1" 302 20 http://precs.co.jp/article/detail/148339?color_id=242483 "Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A366 Safari/600.1.4" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:01 +0900] "GET /jb/s_js/common.js?v=2012032626 HTTP/1.1" 200 2200 "http://precs.co.jp/" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B436 Safari/600.1.4" 0

的なファイルがあったとして、
iPhone、Android、その他でデバイス別に各ファイルのアクセス数をソートして見てみたい
といった時

Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
less ./access_log-web8.2015-03-02 |\
q -D$'\t' "
SELECT
    COUNT(*) AS ccc,
    CASE
        WHEN c10 LIKE '%iPhone%' THEN 'iPhone'
        WHEN c10 LIKE '%Android%' THEN 'Android'
        ELSE 'other'
    END AS device,
    c6
FROM
    -
where
    c6 NOT LIKE '%.js%'
        AND c6 NOT LIKE '%.css%'
        AND c6 NOT LIKE '%woff%'
        AND c6 NOT LIKE '%.ico%'
GROUP BY c6 , device
ORDER BY ccc DESC
LIMIT 20"

とかとかやれば

TeX
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
ccc     device  c6
4063    iPhone  GET / HTTP/1.1
1183    Android GET / HTTP/1.1
890     iPhone  GET /article-list/?slid=4799 HTTP/1.1
868     iPhone  GET /article-list/?slid=4793 HTTP/1.1
836     iPhone  GET /cart-list/ HTTP/1.1
726     iPhone  GET /article-list/?slid=4456 HTTP/1.1
706     iPhone  GET /article-list/?slid=4605 HTTP/1.1
664     iPhone  GET /article-list/?slid=4523 HTTP/1.1
588     other   GET / HTTP/1.1
520     iPhone  POST /cart-cart_data/ HTTP/1.1
481     iPhone  GET /article-list/?slid=4834 HTTP/1.1
458     iPhone  GET /article-list/?slid=4624 HTTP/1.1
434     iPhone  GET /article-list/?slid=4336 HTTP/1.1
412     iPhone  GET /article-list/?slid=4608 HTTP/1.1
379     Android GET /jb/s_css/font/websymbols-regular-webfont.ttf HTTP/1.1
355     iPhone  GET /article-list_all/ HTTP/1.1
303     Android GET /cart-list/ HTTP/1.1
300     iPhone  GET /ranking/ HTTP/1.1
299     iPhone  GET /summarize-top/?id=192 HTTP/1.1
294     iPhone  GET /subscriptions-mclp_02s_06_a-top/?maf=ognc HTTP/1.1

的な結果が帰ってくる

JOINもできるみたいなので、色々やれそうで面白いですね。

で、中でどうやってるのかなーとソースを見てみる。

https://github.com/harelba/q/blob/master/bin/q
githubで公開されているのでかる～く流し読み。

Python
1
self.conn = sqlite3.connect(':memory:')

ほほぅ　なるほど
sqlite使ってるのね
メモリ型でやってるから高速に処理できると。

と、いうことは、sqliteの構文ならそれなりに使えそう。

機会があれば色々使ってみようかな。

ソケットでメールを送ってみよう

By | 2015/01/23 9:06 PM
Comment

まぁ、phpならメール関数使うなり、ライブラリいっぱい転がってるんで
そういうの使ったほうがいいです。
当然。

ただ、SMTPの生コマンドで送ってみよう　というだけの話です。

前提条件として、認証なしのSMTPサーバがローカルにある　という前提。
認証ありの場合、HELOコマンドをEHLOに変えてごにょごにょして下さい。

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
$toList[] = "abc@user.example.com";
$toList[] = "abc2@user.example.com";
$toList[] = "abc3@user.example.com";
$from = "admin@example.com";
$body = 'TEST MAIL
テストメール';
$body = mb_convert_encoding($body,"JIS");
$sub = mb_convert_encoding("Subject: ソケットでメール","JIS");
$server = "127.0.0.1";
 
$socket = fsockopen($server,25);
fputs($socket,"HELO $server\r\n");
$ret = fgets($socket,128);
 
foreach($toList as $key => $val){
    fputs($socket,"MAIL FROM:<".$from.">\r\n");
    $ret = fgets($socket,128);
    fputs($socket,"RCPT TO:<".$val.">\r\n");
    $ret = fgets($socket,128);
    fputs($socket,"DATA\r\n");
    $ret = fgets($socket,128);
    fputs($socket,"$sub\r\n");
    fputs($socket,"To: <".$val.">\r\n");
    fputs($socket,"$body\r\n");
    fputs($socket,"\r\n.\r\n");
    $ret = fgets($socket,128);
}
$ret = fgets($socket,128);
if(strpos($ret,"250")!==0){
    echo "Error\n";
}
fclose($socket);

本当は$ret部分でコマンドの結果を受け取って、失敗したとかの判定を入れるべきですがめんどくさいので
割愛。

あと、どうせソケットで送るなら、一回つないだコネクションを使いまわして連続で送信する　ということをやってます。
phpのmail関数系は毎回コネクションを張るので、大量に送るならコネクションは使いまわしたほうが良いです。

まぁ、大体のライブラリにはアリます。

ただ、注意がアリます。
大量に送信していると、途中でコネクションが切れたり　ということもあるので、
ちゃんとコネクションがはられているか　ということも確認しましょうね

大体2～300回ぐらいで　貼り直したほうがいいと思います。

CSSやJS等が更新してもキャッシュされてしまって困っちゃう！

By | 2015/01/19 8:29 PM
Comment

と、言うお話。

PHP
1
<link href="css/main.css?date=<?php echo time()?>" rel="stylesheet">

的な感じで書けばキャッシュされなくて済むね！
やったね！！

とは行かないですよね。
コレだと普通に更新していない時でも毎回転送してしまうので。

ではでは

PHP
1
<link href="css/main.css?date=<?php echo filemtime('css/main.css');?>" rel="stylesheet">

って感じにすればいいんじゃね？　俺って天才！

とか思っちゃう早とちり君もいますね。

phpのマニュアルにも書いてあるんですが、filemtime 関数の結果はキャッシュされるのです。

注意: この関数の結果は キャッシュされます。詳細は、clearstatcache() を参照してください。

なので、定数でも作っちゃいましょうか。

PHP
1
2
define('CSS_VERSION' ,'2015011402');
define('JS_VERSION' ,'2015011601');

んで

PHP
1
<link href="css/main.css?date=<?php echo CSS_VERSION;?>" rel="stylesheet">

ってしてやるのが確実かなと。
CSSとかJSを更新したタイミングでインクリメントしてやれば良いかと。

デプロイツールに上の定数をインクリメントするような仕組みを入れてやれば、
更新した時に自動的にタイムスタンプが変わるかなぁと。

spl_autoload_registerでrequire_onceだらけのソースをスッキリさせましょう。

By | 2015/01/16 8:28 PM
Comment

便利ですよね
spl_autoload_register

newした時にそのクラスが無ければ探しに行ってくれる　というような感じです。

ということで簡単な使い方です。

document_root/
　├index.php
　└class/
　　　　├Hoge/
　　　　│　└hoge.class.php
　　　　└Fuga/
　　　　　　└fuga.class.php

hoge.class.php
PHP
1
2
3
class hoge{
    function __construct(){}
}

fuga.class.php
PHP
1
2
3
class fuga{
    function __construct(){}
}

的な感じのファイル構成だとしましょうか。

index.php
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
spl_autoload_register(function ($class_name) {
    /**
     * 適宜エスケープはしておいたほうが良いですよ。
     * ディレクトリトラバーサルとかあるので
     */
    $class_name = strtolower($class_name);
    $Class_name = ucfirst($class_name);
    if(file_exists('./class/'.$Class_name. '/' .$class_name.'.class.php')){
        require './class/'.$Class_name. '/' .$class_name.'.class.php';
    }
});
 
$INS_FUGA = new fuga();
$INS_HOGE = new hoge();

って感じにしておけばOK。

また、
require
する時に

PHP
1
    $autoload_list[] = './class/'.$Class_name. '/' .$class_name.'.class.php';

みたいな事してやれば、デバッグで$autoload_listを出力させてやれば、どんな順番でclassが読まれてるか分かる。
で、file_existsのif にelse付けてやって

PHP
1
    $autoload_list[] = '■■■Not Found■■■　=>>>>./class/'.$Class_name. '/' .$class_name.'.class.php';

ってしとくのもありっちゃ有りです。
（try catch で例外受けるほうがいいと思うけど割愛）

spl_autoload_register部分を共通ファイルとかにしちゃえば、classのロードのためにいちいちrequire_onceとかしなくて済みます。
クラスの命名規則と設置場所さえルーリングされていれば、requireが100個あろうが200個あろうが書く必要は無いです。

WebアプリケーションからMySQLのクエリ発行する際に入れておくといいかも知れない

By | 2015/01/05 11:01 AM
Comment

WebアプリケーションからSQLを発行する際に
入れておくといいかも知れないので紹介

user.php
PHP
1
2
3
4
5
6
7
8
9
10
include db.php
class user{
  function getUser()
  {
    $DB = new DB();
    $sql = "SELECT * FROM user_master";
    $result = $DB->execSql($sql);
    /* まぁもろもろ */
  }
}

WebアプリケーションからSQL実行する際に
どこから呼ばれて、何処のメソッドかわかるようにしたいので
db.phpクラスに以下のような感じにしておく。

db.php
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
class DB {
  /* まぁもろもろ */
  function __construct(){  }
  function connect(){  }
  
  function execSql($sql ,$pa=array()){
    //debug_backtrace関数
    $debuglist  = debug_backtrace();
    $tmp_val = array_shift($debuglist);
    $filename = $tmp_val['file'];
    $tmp_ = explode('/',$filename);
    $filename = array_pop($tmp_);
    $tmp_val = array_shift($debuglist);
    $function_name = $tmp_val['function'];
    //SQLの先頭に呼び出し元ファイル名と実行されているfunction名を
    //コメントで追加して改行する
    $sql = "-- ".$filename." ".$function_name."\n".$sql;
    $sth = $this->db->prepare($sql);
    try{
      $sth->execute($pa);
      $result = $sth;
    }catch (Exception $e) {
      $this->error();
    }
    return $result;
  }
}

やってる事は単純で
呼び出し元のファイル名とファンクション名を取り出してるだけ。

コレを発行するSQLの頭に付けてやり、末尾に改行を入れてやればそのままクエリは発行できます。
そうすると、mysql側で

MySQL
1
show processlist\G

とかすると

PHP
1
2
3
4
5
6
7
8
9
     Id: xxxxxxxxxx
   User: hogehoge
   Host: 127.0.0.1:xxxxx
     db: fuga
Command: Query
   Time: 0
  State: Sending data
   Info: -- user.php getUser
SELECT * FROM user_master

的な結果が見れるのでいかがでしょうか。

トラブルや、高負荷時に何処のクエリが原因かすぐさま確認したい！　といった時や
結果取れてるけど、このSQLは何処から呼ばれてるんだろう？
といった時に役にたつと思います。

PHP
1
echo Utility::last_query();

的な機能があれば、デバッグ時にも当然役に立ちますし。