Category: Web

CentOS を 6 から 7 にアップグレードしてみた。


どうもみむらです。
先日まで某学会に出席していた関係で遅くなりました。

 

学会に向かう朝に Twitter を眺めていたら CentOS 7 が出た! というツイートが流れていまして

・・まじすか! もう CentOS 7 出たんか! でも時間が無い・・!
と思いながら、学会に行って、帰ってきました。

今日は普段の行いが最高に悪かった為か、
頭痛なり腹痛なり、とりあえず若者が掛かる「痛」のある程度の症状が出て
日中はダウンしていました。

日中は布団とトイレの往復を何度やって、段々と落ち着いてきたのでやろうか、と。

・・・そんなわけで今に至る訳です。

 

閑話休題

 

それではアップデートを。

良く纏まっているウェブサイトがありますので、基本的にはこちらに従う感じで。
http://abi.io/blogs/in-place-upgrade-centos-6-5-to-7-0-using-preupg.html

 

それと systemd ベースのシステムに変わるため、
十分に時間を確保できる状況になってからアップデートすることをおすすめします。

 

1. バックアップを取る

環境が壊れたとき、対応するのはやった人本人となりますので、
普通はバックアップしてから作業をすることを強くおすすめします。

 

2. 現行のシステムにおいて必要なアップデートを全部適用する

yum update
reboot

yum でアップデートして、再起動します。

 

3. Pre-Upgrade 用のツールをインストール

Windows でいうと「システム更新準備ツール」というところでしょうか。

下記URL にファイルが転がっているのでこれをインストールしていきます。
(依存しているパッケージのインストールも含め。)
http://dev.centos.org/centos/6/upg/x86_64/Packages/

 

yum -y install openscap pcre-devel libxml2-devel libxslt-devel m2crypto python-simplejson mod_wsgi

rpm -ihv http://dev.centos.org/centos/6/upg/x86_64/Packages/preupgrade-assistant-1.0.2-33.el6.x86_64.rpm
rpm -ihv http://dev.centos.org/centos/6/upg/x86_64/Packages/preupgrade-assistant-contents-0.5.13-1.el6.noarch.rpm
rpm -ihv http://dev.centos.org/centos/6/upg/x86_64/Packages/preupgrade-assistant-ui-1.0.2-33.el6.x86_64.rpm
rpm -ihv http://dev.centos.org/centos/6/upg/x86_64/Packages/python-rhsm-1.9.7-1.el6.x86_64.rpm
rpm -ihv http://dev.centos.org/centos/6/upg/x86_64/Packages/redhat-upgrade-tool-0.7.22-1.el6.noarch.rpm

4. Pre-Upgrade 用のツールを実行

root になってから preupg を実行します。
実行直後、英語で「ちゃんとバックアップとったか?」と聞かれるので
とっている場合 or システムが動かなくなってもがんばれる人 は “y” と回答して実行させます。

#su
Password: 

#preupg
Preupg tool doesn't do the actual upgrade.
Please ensure you have backed up your system and/or data in the event of a failed upgrade
 that would require a full re-install of the system from installation media.
Do you want to continue? y/n
y
....

 

5. アップグレード

redhat-upgrade-tool を実行します。
接続先は IIJ に。

redhat-upgrade-tool --network 7.0  --instrepo http://ftp.iij.ad.jp/pub/linux/centos/7/os/x86_64/ --force

–network : バージョン指定 (今回の場合は 7.0)
–instrepo : アップグレード用起動イメージの取得先 ( –instrepo=REPOID   get upgrader boot images from REPOID )

 

ヘルプを見ていて、もしかして “enablerepo” とかでも大丈夫じゃ・・とか思ったのですが

redhat-upgrade-tool --network 7.0  --enablerepo http://ftp.iij.ad.jp/pub/linux/centos/7/os/x86_64/
Usage: redhat-upgrade-tool <SOURCE> [options]

redhat-upgrade-tool: error: --instrepo is required with --network

とのことで。

処理は結構な時間がかかりますので、ニコニコ動画で好きな動画を見てくるとか、
コーヒーを煎れるとかそういうことをして暇をつぶすといいと思います。

testing upgrade transaction
rpm transaction 100% [====================================================================]
rpm install 100% [====================================================================]
setting up system for upgrade
Finished. Reboot to start upgrade.

・・ということで再起動します。

 

6. 再起動

再起動すると、5でダウンロードしたファイルを元に
アップグレード処理が始まります。

・・アップグレード用ツールが入ったブートイメージで起動して処理が行われるため、
完了するまで操作はできなくなります。

(Windows でいうところの Service Pack インストール時の起動直後にあるような、
更新しています・・ 80%.. みたいな状態になります。)

こちらも結構な時間がかかりますので、
お茶を煎れるとかで待っているといいと思います。

 

また、初回起動は結構な時間がかかります。
それも特に文字の表示が出ませんので、いろいろと不安になりますが長く待ちましょう。

2回目以降は早く起動します。(ただしこちらも文字表示等はなし)

 

7. いろいろと設定

今まで設定されていたサービスのいくつかが立ち上がっていないことに気づくかとおもいます。
でもって  ls /etc/init.d/ とかしてもすっからかん。

でもって /etc/init.d/README を読んでみると、
”systemd based の OS になったから、昔ながらの init スクリプトは ネイティブな systemd サービスファイルになったよ!”
と書かれています。

でもって、 “systemctl” コマンドを使ってくれとも書いてあります。

要は、
今まで “service named start” とやっていたのが
“systemctl start named” という感じになる
、ということで。

 

いくつか使いそうなものを書いておくと:

 

service named start (サービス開始)
→ systemctl start named

service named stop (サービス停止)
→ systemctl stop named

service named status (サービスの状況を確認する)
→ systemctl status named

chkconfig named on (サービスを自動起動設定する)
→ systemctl enable named

chkconfig named off (サービスを自動起動から外す)
→ systemctl disable named

 

こんな感じで、ちまちま設定していくと良さそうです。

 

・・また、どんなサービスがあったか忘れたよ! という場合は、

/usr/lib/systemd/system/

あたりを見ると、思い出すかもしれません。

 

また、 net-tools による制御 (ifconfig etc..) はどうも非推奨になったようなので、
yum remove net-tools を実行して、
ip addr による制御に慣れておくのもいいかもしれません。

 

8.見落としそうなところ

1. mysql は MariaDB に変わりました

MySQL が入っていた環境だと、 systemctl start mysqld をしても立ち上がらないので
不思議に思うかもしれませんがアップグレードの最中に消されるようです。

ただ、データは残っていますので、落ち着いて yum install mysql として、
MariaDB をインストールすれば大丈夫です。(自動的に移行されます)

→ yum install mariadb-server としてもインストール可能。

 

2.xinetd が止まってます。

xinetd に依存したサービスを動かしていた場合は
systemctl enable xinetd として有効にしてやる必要があります。

 

3.dovecot でメールが受信できない

Initialization failed: namespace configuration error: inbox=yes namespace missing

こんなエラーがログにたまっていて、接続はできるけれど読み出せない状況が発生します。

この場合は、
/etc/dovecot/conf.d/15-mailboxes.conf に

inbox = yes
の記述を追記
するか、

15-mailboxes.conf を削除すると動きます。

 

4. “/home/*/public_html” にコンテンツが置かれている場合に、どうもうまく Apache が動かない

/etc/httpd/conf.d/userdir.conf
に設定が記述されていますので、このあたりを編集してみるといいかと思います。

 

5.モジュールの読み込み周りで Apache が動かない

モジュールの読み込みに関しては、
/etc/httpd/conf.modules.d
で行うように変更されたようですので、そちらに。

 

6.iptables サービスが既定で Disabled になっている

これはファイアウォールの機能が “firewalld” に移ったため。
iptables をとりあえず有効にした後に、firewalld での書き方に移っていくといいかなと思います。

 

7.CentOS 6 のパッケージをきれいに消したい

rpm –qa | grep el6 | xargs rpm –e

こんなことすると幸せになれるかも。
ただ、何も考えずにこれを実行すると不幸せになるので、ちゃんと確認してから。

 

8./var/log にログファイルがない!

http://fedoraproject.org/wiki/Changes/NoDefaultSyslog

この辺にあるのですが、 “journalctl” コマンドを使用するように標準が変更されています。
もちろん、 rsyslog を入れて、サービスを有効にすれば今まで通りログが出てきますが、
”systemd journal” に管理を任せてみるのもよいのでは。

・・一応、
journalctl | grep dovecot  とかすれば、その製品だけのログを取りだしてくる事が出来ます。

 

9.postfix でメールが送れなくなった!

saslauthd による認証を行っている環境では、
saslauthd が止まっている事によってメールが送信できない事があります。

systemctl enable saslauthd
systemctl start saslauthd

で良い感じに。

 


・・あとで何か新しいことを見つけたら書き換えます・・。

とりあえず、このあたりまで・・。

Twitter の OAuth 1.0 認証を自分でコード書いてやってみた。


みむらです。

ひとまず、おべんきょーということで、後からも分かるように、
変数を多く使って文字列出力をふんだんに出しながら。

ソースコードが、海から来た侵略者に侵略されていますが、
そんなもの全く気にしない、むしろ、侵略されていないでゲソ!

—-

参考資料:

* http://oauth.net/core/1.0
* http://hueniverse.com/oauth/guide/authentication/
* https://dev.twitter.com/docs/auth/authorizing-request/

—-

https://gist.github.com/1395485

using System;
using System.Diagnostics;
using System.IO;
using System.Net;
using System.Security.Cryptography;
using System.Text;
using System.Web;

/*
 * この辺を参考に:
 * 
 * http://oauth.net/core/1.0
 * http://hueniverse.com/oauth/guide/authentication/
 * https://dev.twitter.com/docs/auth/authorizing-request
 */

namespace Direct_Commit_Twitter
{
    class Program
    {

        static void Main(string[] args)
        {
            //
            // 使うパラメータは次のようなもの。
            //
            // OAuth Consumer Key       : Consumer Key そのまま。
            // OAuth Token              : Access Token そのまま。 (今回はこれも取得。)
            // OAuth Nonce              : ランダム文字列を与える。 (毎回変更する。)
            // OAuth Signature          : OAuth Signature 以外の値で HMAC-SHA1 をとった値。
            // OAuth Signature Method   : Twitter は HMAC-SHA1 指定っぽいので HMAC-SHA1.
            // OAuth Time Stamp         : UNIX 時間 (1970-01-01 UTC からの秒数) を与える。
            //                          : (今回は GetUNIXTime() メソッドで取得します。)
            // OAuth Version            : 今回は 1.0 を使うので、1.0.
            //

            string consumer_key = "oDcUp76alv6VctYvRx2g";
            string consumer_secret = "mg1U9TEFVafIPQm0Y0YuLR8EZatXiDBvPLiiCConzbg";

            string access_token = "";
            string access_secret = "";

            string tweet_text = "ゲソーゲソー";

            /************************ 以下、黙々と処理 ********************/

            string[] verify_token;

            if (access_token == "" || access_secret == "")
            {

                #region 01. Request Token を取得しなイカ?
                {
                    Console.WriteLine("01 - Token を取得しなイカ?");
                    Console.WriteLine("-------------------------------------------------");

                    Random rand = new Random();
                    byte[] nonce_b = new byte[64];

                    rand.NextBytes(nonce_b);

                    string nonce = Math.Abs(BitConverter.ToInt64(nonce_b, 0)).ToString();
                    long unixtime = GetUNIXTime();

                    //
                    // OAuth Signature 生成のために、それ以外で仮のリクエスト文字列を作成する。
                    // この際、各パラメータは ABC 順にソートされている必要がある。
                    //
                    string signature_request = "POST&" + UrlEncode("https://api.twitter.com/oauth/request_token");
                    signature_request += "&" + UrlEncode(MakeParamString(consumer_key, nonce, null, unixtime, null, null, null));

                    //
                    // ちゃんとしたリクエスト文字列を作る。
                    //
                    string signature = GetSignature(consumer_secret, null, signature_request);
                    string param = MakeParamString(consumer_key, nonce, signature, unixtime, null, null, null);

                    DebugParamOut(consumer_key, consumer_secret, nonce, signature, unixtime, null, null, null);
                    return;
                    //
                    // 問い合わせ。
                    //
                    Console.WriteLine("* Access : https://api.twitter.com/oauth/request_token?" + param);
                    HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create("https://api.twitter.com/oauth/request_token?" + param);
                    hwr.Method = "POST";
                    WebResponse ret = hwr.GetResponse();
                    verify_token = new StreamReader(ret.GetResponseStream()).ReadToEnd().Split('&');

                    ret.Close();

                    Console.WriteLine();
                    Console.WriteLine("Response : ");
                    foreach (string s in verify_token)
                        Console.WriteLine("> " + s);
                }
                #endregion

                #region 02. Access Token を取得しなイカ?
                {
                    Console.WriteLine();
                    Console.WriteLine("02 - Access Token を取得しなイカ?");
                    Console.WriteLine("-------------------------------------------------");

                    string request_token = "";
                    string request_secret = "";

                    //
                    // ブラウザ開いて認証。
                    //
                    foreach (string s in verify_token)
                    {
                        int p = s.IndexOf("oauth_token=");
                        if (p != -1)
                        {
                            request_token = s.Substring(p + "oauth_token=".Length);
                            break;
                        }
                    }
                    Console.WriteLine("- OAuth Token : " + request_token);
                    Console.WriteLine("* Browser Open : https://twitter.com/oauth/authorize?oauth_token=" + request_token);
                    Process.Start("https://twitter.com/oauth/authorize?oauth_token=" + request_token);

                    //
                    // PIN を入力させる。
                    //
                    Console.Write("\nINPUT PIN : ");
                    string pin = Console.ReadLine();

                    foreach (string s in verify_token)
                    {
                        int p = s.IndexOf("oauth_token_secret=");
                        if (p != -1)
                        {
                            request_secret = s.Substring(p + "oauth_token_secret=".Length);
                            break;
                        }
                    }


                    //
                    // 以下 Twitter ともくもく通信。
                    //

                    Random rand = new Random();
                    byte[] nonce_b = new byte[64];

                    rand.NextBytes(nonce_b);

                    string nonce = Math.Abs(BitConverter.ToInt64(nonce_b, 0)).ToString();
                    long unixtime = GetUNIXTime();

                    //
                    // Signature 生成のための一時的なリクエスト文字列を作成。
                    //
                    string signature_request = "POST&" + UrlEncode("https://api.twitter.com/oauth/access_token");
                    signature_request += "&" + UrlEncode(MakeParamString(consumer_key, nonce, null, unixtime, request_token, pin, null));

                    string signature = GetSignature(consumer_secret, request_secret, signature_request);
                    string param = MakeParamString(consumer_key, nonce, signature, unixtime, request_token, pin, null);

                    DebugParamOut(consumer_key, consumer_secret, nonce, signature, unixtime, request_token, request_secret, pin);

                    //
                    // 問い合わせ。
                    //
                    Console.WriteLine("* Access : https://api.twitter.com/oauth/access_token?" + param);
                    HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create("https://api.twitter.com/oauth/access_token?" + param);
                    hwr.Method = "POST";
                    hwr.Headers.Add("Authorization", "OAuth");

                    WebResponse ret = hwr.GetResponse();
                    verify_token = new StreamReader(ret.GetResponseStream()).ReadToEnd().Split('&');

                    ret.Close();

                    Console.WriteLine();
                    Console.WriteLine("Response : ");
                    foreach (string s in verify_token)
                    {
                        if (s.IndexOf("oauth_token=") != -1)
                            access_token = s.Substring(s.IndexOf("=") + 1);

                        if (s.IndexOf("oauth_token_secret=") != -1)
                            access_secret = s.Substring(s.IndexOf("=") + 1);

                        Console.WriteLine("> " + s);
                    }
                }
                #endregion

            }

            #region 03. つぶやかなイカ?
            {
                Console.WriteLine();
                Console.WriteLine("03 - つぶやかなイカ?");
                Console.WriteLine("-------------------------------------------------");
                
                Random rand = new Random();
                byte[] nonce_b = new byte[64];

                rand.NextBytes(nonce_b);

                string nonce = Math.Abs(BitConverter.ToInt64(nonce_b, 0)).ToString();
                long unixtime = GetUNIXTime();

                string tweet_data = UrlEncode(tweet_text);

                string signature_request = "POST&" + UrlEncode("https://api.twitter.com/1/statuses/update.xml");
                signature_request += "&include_entities%3Dtrue%26" + UrlEncode(MakeParamString(consumer_key, nonce, null, unixtime, access_token, null, tweet_data));
                string signature = GetSignature(consumer_secret, access_secret, signature_request);

                string header_param = "OAuth oauth_consumer_key=\"" + UrlEncode(consumer_key) + "\",oauth_signature_method=\"HMAC-SHA1\"," +
                                      "oauth_timestamp=\"" + unixtime + "\",oauth_nonce=\"" + UrlEncode(nonce) + "\"," +
                                      "oauth_version=\"1.0\",oauth_token=\"" + UrlEncode(access_token) + "\"," +
                                      "oauth_signature=\"" + UrlEncode(signature) + "\",";

                DebugParamOut(consumer_key, consumer_secret, nonce, signature, unixtime, access_token, access_secret, null);
                Console.WriteLine("* Access : https://api.twitter.com/1/statuses/update.xml");
                Console.WriteLine("* Tweet at : " + tweet_text);

                HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create("https://api.twitter.com/1/statuses/update.xml");
                hwr.Method = "POST";
                hwr.ServicePoint.Expect100Continue = false;
                hwr.Headers.Add(HttpRequestHeader.Authorization, header_param);
                hwr.ContentType = "application/x-www-form-urlencoded";
                var s = new StreamWriter(hwr.GetRequestStream());
                s.Write("status=" + tweet_data + "&include_entities=true");
                s.Close();

                WebResponse ret = hwr.GetResponse();
                Console.WriteLine();
                Console.WriteLine("Response:");
                Console.WriteLine("> "+(new StreamReader(ret.GetResponseStream()).ReadToEnd()));

            }
            #endregion
        }

        // UNIX 時間を返す。
        static long GetUNIXTime()
        {
            return (long)(DateTime.UtcNow - new DateTime(1970, 1, 1)).TotalSeconds;
        }

        // URLエンコード (どうやらエスケープ文字は大文字にしないといけないらしい。)
        static string UrlEncode(string str)
        {
            string s = HttpUtility.UrlEncode(str);
            return _UrlEncodeUpper(s);
        }

        static string _UrlEncodeUpper(string str)
        {
            int p = str.IndexOf("%");
            if (p != -1)
            {
                str = str.Substring(0, p) + str.Substring(p, 3).ToUpper() + _UrlEncodeUpper(str.Substring(p + 3));
            }
            return str;
        }

        // パラメータ文字列を生成
        static string MakeParamString(string oauth_consumer_key, string oauth_nonce, string oauth_signature, long oauth_timestamp, string oauth_token, string oauth_verifier, string status)
        {
            string param = "oauth_consumer_key=" + oauth_consumer_key + "&oauth_nonce=" + oauth_nonce;

            if (oauth_signature != null)
                param += "&oauth_signature=" + oauth_signature;

            param += "&oauth_signature_method=HMAC-SHA1" + "&oauth_timestamp=" + oauth_timestamp;

            if (oauth_token != null)
                param += "&oauth_token=" + oauth_token;

            if (oauth_verifier != null)
                param += "&oauth_verifier=" + oauth_verifier;
            
            param += "&oauth_version=1.0";

            if (status != null)
                param += "&status=" + status;

            return param;
        }

        // Consumer Secret をKey とした、リクエスト文字列のハッシュを求める。
        static string GetSignature(string consumer_secret, string access_token_secret, string param)
        {
            HMACSHA1 hmacsha1 = new HMACSHA1();
            hmacsha1.Key = Encoding.ASCII.GetBytes(consumer_secret + "&" + access_token_secret);
            byte[] hash = hmacsha1.ComputeHash(Encoding.ASCII.GetBytes(param));
            
            return Convert.ToBase64String(hash);
        }

        // よくやる出力をまとめてみる。
        static void DebugParamOut(string oauth_consumer_key, string oauth_consumer_secret, string oauth_nonce, string oauth_signature, long oauth_timestamp, string oauth_token, string oauth_token_secret, string oauth_verifier)
        {
            Console.WriteLine("- OAuth Consumer Key = " + oauth_consumer_key);
            Console.WriteLine("- OAuth Consumer Secret = " + oauth_consumer_secret);
            Console.WriteLine("- OAuth Nonce = " + oauth_nonce);
            if (oauth_signature != null)
                Console.WriteLine("- OAuth Signature = " + oauth_signature);
            Console.WriteLine("- OAuth Time Stamp = " + oauth_timestamp);
            if (oauth_token != null)
                Console.WriteLine("- OAuth Access Token = " + oauth_token);
            if (oauth_token_secret != null)
                Console.WriteLine("- OAuth Access Token Secret = " + oauth_token_secret);
            if (oauth_verifier != null)
                Console.WriteLine("- OAuth Verifier = " + oauth_verifier);
        }
    }
}

 

とりあえず、記事自体がむちゃくちゃ長くなるので、
解説云々は次の記事に。

ブログのデザインかえたった。


みむらんです。
というわけで、ブログのデザインを変えました。

前のデザインに飽きていたのと、
何か窮屈さを感じたのでさくっと切り替え。

1024×768 のディスプレイで閲覧する方がぎりぎり閲覧できるようにサイズを修正してあります。

 

IE9 on Windows 7

image

 

IE8 on Windows XP

image

 

Firefox 7.0.1 on Ubuntu 11.10image

 

Safari on Mac OS X Snow Leopard

image

 

ではではそんなところで。

今後ともよろしくお願いします!

SyntaxHighlighter でコードを示したあと、ずたずたに書式が崩れる不具合の対応


どうもみむらです。

とっても見づらいブログ記事で本当に申し訳ございませんでした。
変に改行とかが入って、おそろしく見づらかったことかと思います。

 

ということで、今回はそれの犯人と、
修正の方法。

 

原因:

<pre> </pre> 以降の HTML データが上手く処理されず、
テキストデータとして改行がなされたところに <br /> たぐが自動挿入されたため。

 

対策:

WordPress 内の wpautop というフィルタによって自動挿入されるため、

http://urbangiraffe.com/plugins/disable-wpautop/
上記URL より入手できるプラグインを導入して処理を除去。

 

結果:

対策前:

image

上記のように、文と文が離れていて大変読みづらい状況でした。

 

対策後:

image

本来、当方が記述した際の正しい記述にて表示が行われ、
段落ごとに文章がまとまり、見やすくなっています。

 


というわけで、
WordPress で <pre> を利用してコードを記述している方で、
ずたずたにスタイルが崩れてしまった場合、利用してみてはいかがでしょうか。

ちなみに、RSS フィードに対しても wpautop は適用され、
改行が挿入されますが、
このプラグインでは RSS フィードに対しても有効であり、
かつ、Wordpress をアップデートしても有効となるため、かなり有用かと思います。

Python + Django してみた。 その4.データベース。


体力が切れてきた。やばい。みむらんです。

データベースを使ったサンプルってことで、何かやろうかと思ったのですが、
小さいものが見当たらないので、使い方だけ。

参照 : http://djangoproject.jp/doc/ja/1.0/topics/db/queries.html

 

1.models.py でモデルを定義しよう

Entry クラスにぼこぼこ書くだけで定義完了です。

class Human(models.Model):
    name = models.CharField(max_length=12)
    description = models.TextField()
    age = models.IntegerField()

たとえば、人の名前を管理するなら、こんな感じでしょうか。

name CharField(max_length=12) 最長12文字の文字列
description TextField() 文字列
age IntegerField() 数字

 

2.データベースへの反映

settings.py に、各種設定を済ませておきます。

変数名 設定内容
DATABASE_ENGINE データベースエンジン ‘mysql’ / ‘sqlite3’ など
DATABASE_NAME データベース名 ‘human_db’
DATABASE_USER ユーザ名 ‘mimuran’
DATABASE_PASSWORD パスワード ‘hogehoge’
DATABASE_HOST サーバホスト名 ‘example.com’
DATABASE_PORT ポート番号 ‘1234’

 

一通り済ませたら、

$ ./manage.py syndb

で、実データベースに反映します。

 

3.データの読み書き

書き込み:

data = Human()
data.name = u'みむらん'
data.age = 19
data.description u'ぱいそんよくわかってない系だんし'
data.save()

インスタンスを生成して、ごにょごにょ詰め込んだ後、 save メソッドを呼び出して保存。

すべて読み出し:

all = Human.objects.all()

条件を付けて読み出す:

mimuran = Human.objects.filter(name=u'みむらん')

とりあえず、こんな感じで。