Monthly Archives: 3月 2015

mysqldump実行時のエラー Couldn’t execute ‘SET OPTION SQL_QUOTE_SHOW_CREATE=1’

By | 2015/03/31 8:00 PM
Comment

MySQL 5.5がインストールされているサーバーから
MySQL 5.6のデータベースをmysqldumpしようとした時に下記のエラーが出てdumpに失敗しました。

Couldn’t execute ‘SET OPTION SQL_QUOTE_SHOW_CREATE=1’

MySQL 5.6ではSET OPTION構文が廃止されているようです。

Bug #67507
mysqldump from 5.5 fails with an error when trying to dump data from mysql-5.6
http://bugs.mysql.com/bug.php?id=67507

5.5系では5.5.34以降で修正されているとのこと。
まずはクライアント側のディストリビューションを調べてみます。

1
mysqldump -V

mysqldump Ver 10.13 Distrib 5.5.18, for Linux (x86_64)

5.6系以降にアップグレードすれば良い話ですが、5.5のままで稼働したいサーバーだったため、
5.5系の現時点での最新バージョン(5.5.42)にアップグレードしてみます。

念のためMySQLをバックアップ。

Shell
1
mysqldump -u【DB_USER】 -p -h127.0.0.1 --all-databases --add-drop-table --single-transaction --hex-blob | lz4 -9 > /var/tmp/mysql_all_backup.sql.lz4

お気に入りの圧縮形式lz4で圧縮しつつdumpしています。

lz4をインストールしたい場合は下記コマンドでインストール。

Shell
1
yum -y install lz4

一応MySQLの設定ファイルもバックアップ。

Shell
1
cp -a /etc/my.cnf{,.bk}

現在のMySQLのインストール状況を確認。

Shell
1
rpm -qa | grep -i mysql

「MySQL-」ではじまる5.5系のものを全て削除。

Shell
1
2
3
4
5
rpm -e --nodeps MySQL-shared-5.5.18-1.el6.x86_64
rpm -e --nodeps MySQL-devel-5.5.18-1.el6.x86_64
rpm -e --nodeps MySQL-client-5.5.18-1.el6.x86_64
rpm -e --nodeps MySQL-server-5.5.18-1.el6.x86_64
rpm -e --nodeps MySQL-shared-compat-5.5.18-1.el6.x86_64

最新バージョン確認。
http://ftp.jaist.ac.jp/pub/mysql/Downloads/MySQL-5.5

ダウンロード&インストール。

Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
sudo su -
cd /var/tmp
 
# centos 6の場合
VERSION=5.5.42-1.el6.x86_64
# centos 5の場合
VERSION=5.5.42-1.rhel5.x86_64
 
wget http://ftp.jaist.ac.jp/pub/mysql/Downloads/MySQL-5.5/MySQL-shared-${VERSION}.rpm
wget http://ftp.jaist.ac.jp/pub/mysql/Downloads/MySQL-5.5/MySQL-devel-${VERSION}.rpm
wget http://ftp.jaist.ac.jp/pub/mysql/Downloads/MySQL-5.5/MySQL-client-${VERSION}.rpm
wget http://ftp.jaist.ac.jp/pub/mysql/Downloads/MySQL-5.5/MySQL-server-${VERSION}.rpm
wget http://ftp.jaist.ac.jp/pub/mysql/Downloads/MySQL-5.5/MySQL-shared-compat-${VERSION}.rpm
 
rpm -Uvh \
  MySQL-shared-${VERSION}.rpm \
  MySQL-devel-${VERSION}.rpm \
  MySQL-client-${VERSION}.rpm \
  MySQL-server-${VERSION}.rpm \
  MySQL-shared-compat-${VERSION}.rpm

MySQLスタート。

Shell
1
service mysql start

MySQLアップグレード。

Shell
1
mysql_upgrade -u【DBユーザー】 -p -h127.0.0.1

念のためMySQL restart。

Shell
1
service mysql restart

ディストリビューション(バージョン)確認。

Shell
1
mysqldump -V

mysqldump Ver 10.13 Distrib 5.5.42, for Linux (x86_64)

ディストリビューションが5.5.18から5.5.42にアップグレードされました。

再度mysqldumpを実行したところ、成功しました。

find結果をlsで表示(xargsのr, no-run-if-emptyオプション)

By | 2015/03/18 12:34 PM
Comment

find結果をlsで表示する場合、find結果が無い場合に単純にls単発の結果が表示され、予想していた結果にならずにハマりました。

7日前から現在までに更新されたファイルをfindで検索し、結果をlsで表示

7日前から現在までに更新されたファイルをfindで検索し、結果をlsで表示
Shell
1
find ./ -type f -mtime -7 -print0 | xargs -r0 ls -la

まずはfindのmtimeオプションについて。

find: -mtime n
ファイルのデータが最後に修正されたのが n*24 時間前なら真。

一例を載せておきます。

1
2
3
find ./ -mtime -2 ⇒ 2日(48時間)前から現在
find ./ -mtime 2  ⇒ 2日(48時間)前から3日(72時間)前
find ./ -mtime +2 ⇒ 3日(72時間)以前の過去

findの -print0 オプション とxargsの -0 オプション の組み合わせは、
スペースが含まれているファイル名も正常に検索してくれるので、つける癖をつけています。

find: -print0
真を返す。ファイル名をフルパスで標準出力に表示し、各ファイル名にヌル文字を付加する。
このオプションを用いれば、 find の出力を処理するプログラムにおいて改行文字を含んだ
ファイル名を正しく解釈できるようになる。

xargs: --null, -0
標準入力からの文字列の区切りに、空白ではなくヌル文字が使われているとみなす。また引用符やバックスラッシュに特別の意味を持たせず、すべての文字をそのまま用いる。
ファイル終了文字列も無効となり、他の文字列と同じように扱われる。
入力される文字列に空白・引用符・バックスラッシュが含まれている場合に有用であろう。
GNU find の -print0 オプションの出力を、このオプションを指定した xargs の入力とすると良い。

xargsの -r 、または --no-run-if-empty オプションは、標準入力が空の場合は何もしません。
このオプションをつけた場合、find結果が空の場合に何も表示されなくなり、期待していた結果となります。

xargs: -r, --no-run-if-empty
標準入力に空行しか含まれていない場合、コマンドを実行しない。
通常は入力がない場合でもコマンドは一回実行される。

q Text as Data

By | 2015/03/03 8:03 PM
Comment

http://harelba.github.io/q/

tsvファイルやcsvファイル等をそのままSQLであれこれしてしまおうという感じ。

ということで面白そうなので使ってみました。

Shell
1
wget https://github.com/harelba/packages-for-q/raw/master/rpms/q-text-as-data-1.5.0-1.noarch.rpm

で、rpm取得してインストール

Shell
1
rpm -ivh ［ダウンロードしたファイル］

早速使ってみましょう。

コレ、CSVとかで無くても大丈夫見たいなのです。
なので今回はアクセスログをゴニョゴニョしてみます。

Shell
1
2
less /var/log/httpd/access.log | \
q select * from - limit 10

で行けるみたいです。

出力結果は、まぁ元のファイルに依存するみたいなのでそれぞれ見ていただければと思います。

オプション
-D
　出力のファイルのデリミタ
　ex)
　　-D $’\t’　=>　TSVファイル
-d
　入力のファイルのデリミタ
　ex)
　　-d ,　　　=> CSVファイル
-O
　出力ファイルのヘッダーを出力
-H
　入力ファイルのヘッダーをカラム名として利用
-e
　入力ファイルの文字エンコーディング
-Q
　クエリの文字エンコーディング

などなど
後は

Shell
1
man q

でご確認を

access.log
TeX
1
2
3
4
5
6
7
8
9
10
11
12
13
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:52 +0900] "GET / HTTP/1.1" 200 13483 - "Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11B554a Safari/9537.53" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:52 +0900] "GET / HTTP/1.1" 200 13483 - "Mozilla/5.0 (iPhone; CPU iPhone OS 7_0_4 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11B554a Safari/9537.53" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:30 +0900] "GET / HTTP/1.1" 200 13431 - "Mozilla/5.0 (Linux; U; Android 4.2.2; ja-jp; SH-07E Build/SA160) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:43 +0900] "GET /article-list/?abcid=4799 HTTP/1.1" 200 8449 http://precs.co.jp/?paf=MEG_DAILY_20150302_SP&openid=201503022504645 "Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:07 +0900] "GET /article-list/?abcid=4793 HTTP/1.1" 200 11175 http://precs.co.jp/ "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B440 APP_CLINET/WEBVIEW/V3.1" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:17 +0900] "GET /cart-list/ HTTP/1.1" 200 6238 http://precs.co.jp/article/detail/148339?color_id=242483 "Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A366 Safari/600.1.4" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:34 +0900] "GET /article-list/?abcid=4456 HTTP/1.1" 200 9768 http://precs.co.jp/?paf=affi_smart-c "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B466 Safari/600.1.4" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:59:03 +0900] "GET /article-list/?abcid=4605 HTTP/1.1" 200 8719 http://precs.co.jp/?paf=MEG_DAILY_20150302_MB&openid=201503022165761 "Mozilla/5.0 (iPhone; CPU iPhone OS 7_1 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D167 Safari/9537.53" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:20 +0900] "GET /article-list/?abcid=4523 HTTP/1.1" 200 10540 http://precs.co.jp/ "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B440 APP_CLINET/WEBVIEW/V3.1" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:16 +0900] "GET /jb/s_css/set_all2.css?v=2012036843 HTTP/1.1" 200 22671 "http://precs.co.jp/product-list/?slid=4336&maf=MEG_DAILY_20150301_SP&openid=2015030126175&tc=A_5_1__12" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B466 Safari/600.1.4" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:01 +0900] "GET / HTTP/1.1" 302 20 - "Mozilla/5.0 (iPad; CPU OS 6_1_3 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10B329 Safari/8536.25" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:17 +0900] "POST /cart-cart_data/ HTTP/1.1" 302 20 http://precs.co.jp/article/detail/148339?color_id=242483 "Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A366 Safari/600.1.4" 0
xxx.xxx.xxx.xxx - - [02/Mar/2015:23:58:01 +0900] "GET /jb/s_js/common.js?v=2012032626 HTTP/1.1" 200 2200 "http://precs.co.jp/" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B436 Safari/600.1.4" 0

的なファイルがあったとして、
iPhone、Android、その他でデバイス別に各ファイルのアクセス数をソートして見てみたい
といった時

Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
less ./access_log-web8.2015-03-02 |\
q -D$'\t' "
SELECT
    COUNT(*) AS ccc,
    CASE
        WHEN c10 LIKE '%iPhone%' THEN 'iPhone'
        WHEN c10 LIKE '%Android%' THEN 'Android'
        ELSE 'other'
    END AS device,
    c6
FROM
    -
where
    c6 NOT LIKE '%.js%'
        AND c6 NOT LIKE '%.css%'
        AND c6 NOT LIKE '%woff%'
        AND c6 NOT LIKE '%.ico%'
GROUP BY c6 , device
ORDER BY ccc DESC
LIMIT 20"

とかとかやれば

TeX
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
ccc     device  c6
4063    iPhone  GET / HTTP/1.1
1183    Android GET / HTTP/1.1
890     iPhone  GET /article-list/?slid=4799 HTTP/1.1
868     iPhone  GET /article-list/?slid=4793 HTTP/1.1
836     iPhone  GET /cart-list/ HTTP/1.1
726     iPhone  GET /article-list/?slid=4456 HTTP/1.1
706     iPhone  GET /article-list/?slid=4605 HTTP/1.1
664     iPhone  GET /article-list/?slid=4523 HTTP/1.1
588     other   GET / HTTP/1.1
520     iPhone  POST /cart-cart_data/ HTTP/1.1
481     iPhone  GET /article-list/?slid=4834 HTTP/1.1
458     iPhone  GET /article-list/?slid=4624 HTTP/1.1
434     iPhone  GET /article-list/?slid=4336 HTTP/1.1
412     iPhone  GET /article-list/?slid=4608 HTTP/1.1
379     Android GET /jb/s_css/font/websymbols-regular-webfont.ttf HTTP/1.1
355     iPhone  GET /article-list_all/ HTTP/1.1
303     Android GET /cart-list/ HTTP/1.1
300     iPhone  GET /ranking/ HTTP/1.1
299     iPhone  GET /summarize-top/?id=192 HTTP/1.1
294     iPhone  GET /subscriptions-mclp_02s_06_a-top/?maf=ognc HTTP/1.1

的な結果が帰ってくる

JOINもできるみたいなので、色々やれそうで面白いですね。

で、中でどうやってるのかなーとソースを見てみる。

https://github.com/harelba/q/blob/master/bin/q
githubで公開されているのでかる～く流し読み。

Python
1
self.conn = sqlite3.connect(':memory:')

ほほぅ　なるほど
sqlite使ってるのね
メモリ型でやってるから高速に処理できると。

と、いうことは、sqliteの構文ならそれなりに使えそう。

機会があれば色々使ってみようかな。