インフラ – ページ 8 – 今日という日は贈り物

2015年8月27日2017年12月10日

RHEL6.5(RedHat Enterprise Linux 6.5)にAnsibleでDockerをインストールする

RHEL6.5にAnsibleでDocker環境つくっちゃおう♪

docker上に作ったansibleなサーバからvmhostのRHEL6.5にdocker環境を作ってしまいます。

入門Ansibleとか、Docker入門 Immutable Infrastructureを実現するを読んでおくと、理解が早いかもしれません。電子書籍だとタブレット一つで沢山持ち歩けるので便利ですよねd(^ー゜*)

今回は、ansibleな環境をdocker上に作ってしまったため、sshのノンパスキーが旨く作れなかったので、パスワード認証にしちゃいました・・・(作れたけど起動し直すたびにホスト名変わりますよね。id_dsa.pubファイルの最後にアカウント＠ホスト名みたいなのが付くんだけど、これが為に恒久的でなはいというか。)

1. inventoryなホストファイルを作成

serversな識別に、たくさんのサーバをぶら下げる想定です！

インストール先のvmhostのデフォルト環境をpackerでvagrantのbox作っちゃったりした後の想定です。
sudouserがsudopasswordというパスワードで存在することにしてください。
また、一度sshで接続して、known_hostsに登録されているようにしてください・・・(注文が多くてすみません)

/etc/ansible/hosts

[servers:children]
vmhosts

[vmhosts]
vmhost01

[vmhost:vers]
ansible_ssh_user=sudouser
ansible_ssh_pass=sudopassword

[servers:children]

vmhosts

[vmhosts]

vmhost01

[vmhost:vers]

ansible_ssh_user=sudouser

ansible_ssh_pass=sudopassword

2. playbookファイルを作成

---    ←これも必要
- hosts: servers
  remote_user: sudouser
  become: yes
  become_method: su

  vars:
    myuser: ansible
    proxyAddr: IPADDRESS
    proxyPort: 8080
    proxyUrl: http:// IPADDRESS:8080/
    epelUrl: http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
    epelRepoFile: /etc/yum.repos.d/epel.repo
    dockerConf: /etc/sysconfig/docker
    rpmUrl: http://rpmfind.net/linux/centos/6/updates/x86_64/Packages/
    username: user
    password: passowrd

  tasks:
  - name: regist subscription manager
    shell: subscription-manager register \
             --force \
             --username {{ username }} \
             --password {{ password }} \
             --proxy {{ proxyAddr }}:{{ proxyPort }}

  - name: add sudouser to sudoers
    shell: echo 'sudouser ALL=(ALL:ALL) ALL' &gt; /etc/sudoers.d/sudouser

  - name: set proxy environemnt
    shell: echo "export http_proxy={{ proxyUrl }}" &gt; /etc/profile.d/proxy.sh

  - name: add epel repos
    shell: rpm --force --httpproxy {{ proxyAddr }} --httpport {{ proxyPort }} -ihv {{ epelUrl }}

  - name: change epel repos url
    shell: sed -i \
               -e "s/^#baseurl=/baseurl=/" \
               -e "s/^mirrorlist=/#mirrorlist=/" \
               {{ epelRepoFile }}

  - name: yum update
    yum: name=* state=latest

  - name: yum install device-mapper-event-libs
    yum: name={{ item.name }} state=latest
    with_items:
      - { name: device-mapper-event-libs, docker-io }

  - name: yum local install device-mapper
    yum: name={{ item }} state=present
    with_items:
       - "{{ rpmUrl }}device-mapper-libs-1.02.95-3.el6_7.2.x86_64.rpm"
       - "{{ rpmUrl }}device-mapper-event-1.02.95-3.el6_7.2.x86_64.rpm"
       - "{{ rpmUrl }}device-mapper-event-libs-1.02.95-3.el6_7.2.x86_64.rpm"
       - "{{ rpmUrl }}device-mapper-1.02.95-3.el6_7.2.x86_64.rpm"

  - name: make docker images dir
    file: path={{ item.path }} state=directory owner={{ item.owner }} group={{  item.group }} mode={{ item.mode }}
    with_items:
    - { path: '/data/docker', owner: 'dockerroot', group: 'dockerroot', mode: '0755' }

  - name: change docker images dir
    shell: sed -i -e 's/^other_args=$/other_args="-g \/data\/docker\/"/' {{ dockerConf }}

  - name: boot docker
    service: name=docker state=restarted

--- ←これも必要

- hosts: servers

remote_user: sudouser

become: yes

become_method: su

vars:

myuser: ansible

proxyAddr: IPADDRESS

proxyPort: 8080

proxyUrl: http:// IPADDRESS:8080/

epelUrl: http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

epelRepoFile: /etc/yum.repos.d/epel.repo

dockerConf: /etc/sysconfig/docker

rpmUrl: http://rpmfind.net/linux/centos/6/updates/x86_64/Packages/

username: user

password: passowrd

tasks:

- name: regist subscription manager

shell: subscription-manager register \

--force \

--username {{ username }} \

--password {{ password }} \

--proxy {{ proxyAddr }}:{{ proxyPort }}

- name: add sudouser to sudoers

shell: echo 'sudouser ALL=(ALL:ALL) ALL' > /etc/sudoers.d/sudouser

- name: set proxy environemnt

shell: echo "export http_proxy={{ proxyUrl }}" > /etc/profile.d/proxy.sh

- name: add epel repos

shell: rpm --force --httpproxy {{ proxyAddr }} --httpport {{ proxyPort }} -ihv {{ epelUrl }}

- name: change epel repos url

shell: sed -i \

-e "s/^#baseurl=/baseurl=/" \

-e "s/^mirrorlist=/#mirrorlist=/" \

- name: yum update

yum: name=* state=latest

- name: yum install device-mapper-event-libs

yum: name={{ item.name }} state=latest

with_items:

- { name: device-mapper-event-libs, docker-io }

- name: yum local install device-mapper

yum: name={{ item }} state=present

with_items:

- "{{ rpmUrl }}device-mapper-libs-1.02.95-3.el6_7.2.x86_64.rpm"

- "{{ rpmUrl }}device-mapper-event-1.02.95-3.el6_7.2.x86_64.rpm"

- "{{ rpmUrl }}device-mapper-event-libs-1.02.95-3.el6_7.2.x86_64.rpm"

- "{{ rpmUrl }}device-mapper-1.02.95-3.el6_7.2.x86_64.rpm"

- name: make docker images dir

file: path={{ item.path }} state=directory owner={{ item.owner }} group={{ item.group }} mode={{ item.mode }}

with_items:

- { path: '/data/docker', owner: 'dockerroot', group: 'dockerroot', mode: '0755' }

- name: change docker images dir

shell: sed -i -e 's/^other_args=$/other_args="-g \/data\/docker\/"/' {{ dockerConf }}

- name: boot docker

service: name=docker state=restarted

えーと、sed -i -e の所！ lineinfileというモジュールがあるので、置き換えてください。。。

yum: name=* state=latest

1	yum: name=* state=latest

コレ！公式ドキュメント読むと update なのか例にあるupgradeなのかわかんなくなるよ。

subscription-managerもモジュールになってるんだけど、まだバギーらしい。登録するuserとpasswordは適宜環境に合わせて修正してね。

device-mapperのパッケージだけど、前回使ってたのが 404 not found になってて、どうやらバージョンアップしたらしい。直接指定だから難しいけど、state=latest な感じにできればいいな。yumのパッケージのバージョンが上がればこんな無茶はいらないんだけどなぁ～

proxyは環境に合わせて不要なら外してね。
IPADDRESSって書いている所は適宜編集してね。

3. 流し込み！

% ansible-playbook -i /etc/ansible/host ./playbook --syntax-check
% ansible-playbook -i /etc/ansible/host ./playbook

% ansible-playbook -i /etc/ansible/host ./playbook --syntax-check

% ansible-playbook -i /etc/ansible/host ./playbook

インストール先のホストの/var/log/messagesにも、実行されたコマンドが出力されるので、実行側の結果と照らし合わせてみると進行状況とか良くわかっていいかもです。
・・・が、Ansible使うんだし、インストール先にログインしちゃダメですかねｗｗｗ
ひな形作る、try&errorの時だけにしますね(ノ∀｀*)

2015年8月9日2017年12月10日

dockerでgithubライクなサーバ(gitprep)を構築する

環境

ubuntu15.04
dockerがインストールされている状態
dockerコンテナのOSはcentos6.6を利用
github互換サーバに gitprep を利用

概要

docker pullで centos6を取得する
github互換サーバ用のDockerfileを作成する
フロントにnginxでWebサーバを起動しEXPOSEでポートをつなぐ

手順

docker pullで centos6を取得する
jdeathe/centos-sshがcentos6.6のイメージによさそうだったので選択

sudo docker pull jdeathe/centos-ssh

1

sudo docker pull jdeathe/centos-ssh

github互換サーバ用のDockerfileを作成する

mkdir ~/gitServer; cd ~/gitServerv
vi Dockerfile
---
FROM jdeathe/centos-ssh

RUN yum update -y

RUN yum install -y \
         bzip2 \
         git \
         gcc \
         perl-Archive-Tar \
         perl-Encode \
         perl-Scalar-List-Utils \
         perl-PathTools \
         perl-Text-Markdown \
         perl-DBI \
         perl-Time-HiRes \
         perl-Sub-Identify \
         perl-Digest-SHA \
         perl-ExtUtils-MakeMaker \
  ; curl -L http://xrl.us/cpanm > /usr/bin/cpanm \
  ; chmod +x /usr/bin/cpanm \
  ; cpanm Archive::Tar \
          Validator::Custom \
          Params::Check \
          Module::Load::Conditional \
          Perl::OSType \
          IPC::Cmd \
  ; cpanm Text::Markdown::Hoedown

RUN cd /opt ; git clone https://github.com/yuki-kimoto/gitprep.git gitprep \
  ; cd /opt/gitprep ; sh ./setup.sh \
  ; git config --global user.name "gitprep" \
  ; git config --global user.email "root@localhost"
ADD ./gitprep /etc/init.d/gitprep
RUN chmod +x /etc/init.d/gitprep \
  ; ln -s /etc/init.d/gitprep /etc/rc3.d/S99gitprep \
  ; ln -s /etc/init.d/gitprep /etc/rc3.d/K99gitprep \
  ; chkconfig --add /etc/init.d/gitprep \
  ; sed -i -e 's/^;on=1/on=1/' -e 's/^;path_depth=1/path_depth=1/' /opt/gitprep/gitprep.conf

EXPOSE 22 10020

ENTRYPOINT /etc/init.d/gitprep start \
    ; /etc/init.d/docker-registry start \
    ; /bin/bash
---
<blockquote>※gitの初期設定は適宜環境に合わせてください。</blockquote>


vi gitprep
---
#!/bin/sh

# chkconfig: 2345 99 10
# description: gitprep

prog="/opt/gitprep/gitprep"

case "$1" in
  start)
    $prog \
    && echo $prog started. \
    && exit 0
    ;;
  stop)
    $prog -s \
    && exit 0
    ;;
  configtest|test|status)
    $prog -t && exit 0
    ;;
  reload|restart)
    $prog -s \
    && $prog \
    && echo $prog started. \
    && exit 0
    ;;
  *)
    echo $"Usage: $0 {start|stop|reload|restart|configtest|status}"
    exit 2
esac
---

sudo docker build -t gitServer .
sudo docker run -d \
  -it \
  --name gitServer \
  gitServer \
  /bin/bash

mkdir ~/gitServer; cd ~/gitServerv

vi Dockerfile

---

FROM jdeathe/centos-ssh

RUN yum update -y

RUN yum install -y \

bzip2 \

git \

gcc \

perl-Archive-Tar \

perl-Encode \

perl-Scalar-List-Utils \

perl-PathTools \

perl-Text-Markdown \

perl-DBI \

perl-Time-HiRes \

perl-Sub-Identify \

perl-Digest-SHA \

perl-ExtUtils-MakeMaker \

; curl -L http://xrl.us/cpanm > /usr/bin/cpanm \

; chmod +x /usr/bin/cpanm \

; cpanm Archive::Tar \

Validator::Custom \

Params::Check \

Module::Load::Conditional \

Perl::OSType \

IPC::Cmd \

; cpanm Text::Markdown::Hoedown

RUN cd /opt ; git clone https://github.com/yuki-kimoto/gitprep.git gitprep \

; cd /opt/gitprep ; sh ./setup.sh \

; git config --global user.name "gitprep" \

; git config --global user.email "root@localhost"

ADD ./gitprep /etc/init.d/gitprep

RUN chmod +x /etc/init.d/gitprep \

; ln -s /etc/init.d/gitprep /etc/rc3.d/S99gitprep \

; ln -s /etc/init.d/gitprep /etc/rc3.d/K99gitprep \

; chkconfig --add /etc/init.d/gitprep \

; sed -i -e 's/^;on=1/on=1/' -e 's/^;path_depth=1/path_depth=1/' /opt/gitprep/gitprep.conf

EXPOSE 22 10020

ENTRYPOINT /etc/init.d/gitprep start \

; /etc/init.d/docker-registry start \

; /bin/bash

---

<blockquote>※gitの初期設定は適宜環境に合わせてください。</blockquote>

vi gitprep

---

#!/bin/sh

# chkconfig: 2345 99 10

# description: gitprep

prog="/opt/gitprep/gitprep"

case "$1" in

start)

$prog \

&& echo $prog started. \

&& exit 0

;;

stop)

$prog -s \

&& exit 0

;;

configtest|test|status)

$prog -t && exit 0

;;

reload|restart)

$prog -s \

&& $prog \

&& echo $prog started. \

&& exit 0

;;

echo $"Usage: $0 {start|stop|reload|restart|configtest|status}"

exit 2

esac

---

sudo docker build -t gitServer .

sudo docker run -d \

-it \

--name gitServer \

gitServer \

/bin/bash

ココで、 -p で 10020番ポートをホストOSとつなぐ必要は無し
–name に指定した名前が重要となる。後で出てくるfrontサーバは、このnameに対してProxyの接続を行う。

フロントにnginxでWebサーバを起動しEXPOSEでポートをつなぐ

mkdir ~/front ; cd ~/front
vi Dockerfile
---
FROM jdeathe/centos-ssh

RUN yum update -y
RUN yum install -y \
         bzip2 \
         git \
         nginx \
  ; git config --global user.name "gitprep" \
  ; git config --global user.email "root@localhost"

COPY ./default /etc/nginx/default.d/gitserver.conf

EXPOSE 80

ENTRYPOINT /etc/init.d/nginx start \
           ; /bin/bash
---
※gitの初期設定は適宜環境に合わせてください。

vi gitserver.conf
---
# gitprep
location / {
  proxy_pass http://gitServer:10020;
}
---

sudo docker build -t front .
sudo docker run -d \
  -it \
  -p 80:80 \
  --link gitServer:gitServer \
  --name front \
  front \
  /bin/bash

mkdir ~/front ; cd ~/front

vi Dockerfile

---

FROM jdeathe/centos-ssh

RUN yum update -y

RUN yum install -y \

bzip2 \

git \

nginx \

; git config --global user.name "gitprep" \

; git config --global user.email "root@localhost"

COPY ./default /etc/nginx/default.d/gitserver.conf

EXPOSE 80

ENTRYPOINT /etc/init.d/nginx start \

; /bin/bash

---

※gitの初期設定は適宜環境に合わせてください。

vi gitserver.conf

---

# gitprep

location / {

proxy_pass http://gitServer:10020;

}

---

sudo docker build -t front .

sudo docker run -d \

-it \

-p 80:80 \

--link gitServer:gitServer \

--name front \

front \

/bin/bash

これで、ホストOSの80番ポート → frontコンテナの80番ポート → gitServerの10020番ポートとつながります。

git pushの問題

git push した際に、以下のようなエラーが発生する場合はバッファ値の設定が小さい為です。

Username for 'http://URL': ID
Password for 'http://URL': PASS
Counting objects: 49, done.
Compressing objects: 100% (44/44), done.
error: RPC failed; result=56, HTTP code = 200
fatal: The remote end hung up unexpectedly
Writing objects: 100% (47/47), 71.19 MiB | 5.79 MiB/s, done.
Total 47 (delta 8), reused 0 (delta 0)
fatal: The remote end hung up unexpectedly
Everything up-to-date

Username for 'http://URL': ID

Password for 'http://URL': PASS

Counting objects: 49, done.

Compressing objects: 100% (44/44), done.

error: RPC failed; result=56, HTTP code = 200

fatal: The remote end hung up unexpectedly

Writing objects: 100% (47/47), 71.19 MiB | 5.79 MiB/s, done.

Total 47 (delta 8), reused 0 (delta 0)

fatal: The remote end hung up unexpectedly

Everything up-to-date

起動スクリプトに以下の環境変数をセットします

/etc/init.d/gitprep
---
export MOJO_MAX_MESSAGE_SIZE=1024000000
--

/etc/init.d/gitprep

---

export MOJO_MAX_MESSAGE_SIZE=1024000000

gitコマンドのglobal設定のpostbufferを大きく(1GB)します。上記Dockerfileに以下を追加しておきます。

git config http.postBuffer 1024000000

1	git config http.postBuffer 1024000000