1.
2004년부터 사용한 듯 합니다. 회사의 제품개발을 위해 Atalassian을 도입하여 사용하였습니다. 처음에는 Jira, Confluence 그리고 마지막은 Fisheye입니다. 소스관리시스테으로 CVS를 사용할 때 Fisheye가 보여주는 화면은 놀라웠습니다. 이 때부터 기회가 닿으면 Atalassian의 제품을 애용합니다.
트레이딩컨설팅그룹 이음을 만들도 파트너들과 함께 일을 시작하면서 다시 Atlassian 제품을 도입하였습니다. 이번에는 정품을 구입하고자 회사 홈페이지를 찾았죠. startup을 위한 라이센스가 있더군요. 10을 기준으로 10달러에 1년을 사용하는 서비스입니다. Fisheye와 Confluence를 구입하였습니다. 2012년 말입니다. 파트너와 협력이라 이용을 잘하는 분도 있고 거의 이용을 하지 않은 분도 있지만 유용하게 사용하였습니다. 그러다 여러가지 이유로 정비할 필요가 생겼고 하루를 잡아서 시스템을 복구하였습니다.
이 때 하지 못한 일이 데이타복구입니다. 개천절 휴일을 이용하여 데이타복구를 시도하였습니다.
2.
먼저 Jira의 복구입니다. 간단히 작업을 하였습니다. 이미 Jira에서 백업을 해두었던 XML데이타를 이용하여 복구하였습니다. 이미 생성한 프로젝트를 정비하였죠. 이미 사라진 프로젝트인 ZeroM을 ZeroAOS 1.0이라는 카테고리를 만들어 옮겼습니다. 개별 프로젝트로 나뉘어 있던 제품들도 ZeroAOS 2.0 프로젝트의 Component로 옮겼습니다. ZTerminal, ZeroOMS, ZeroBOG, ZeroVE 등.
Jira는 다양한 시스템으로부터 데이타를 가져올 수 있습니다. External System Import입니다. 가장 많이 사용하는 것이 CSV입니다. 이 때 유념해야 할 것이 UTF8입니다. 아무 생각없이 Excel에서 CSV로 저장하면 데이타가 깨집니다. 여러가지를 시험해볼 결과 가장 편하고 표준을 지켜주는 것이 Google drive가 제공하는 spreadsheet입니다.
다음은 문제의 Confluence입니다. 두가지 문제였습니다. MySQL로 지정하여 복구를 하였는데 시스템환경을 보니까 HSQLDB로 되어 있더군요. 다른 하나는 데이타의 복구입니다.
먼저 MySQL로 설치를 다시하는 것입니다. 여러가지 시도를 하다 환경설정에 놓쳤던 부분을 발견하였습니다. 정리합니다.
우선 MySQL의 JDBC Driver를
둘째
|
1 2 3 4 5 6 7 8 9 |
<Resource name="jdbc/confluence" auth="Container" type="javax.sql.DataSource" username="yourusername" password="yourpassword" driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/confluence?useUnicode=true&characterEncoding=utf8" maxActive="15" maxIdle="7" defaultTransactionIsolation="READ_COMMITTED" validationQuery="Select 1" /> |
마지막으로
|
1 2 3 4 5 6 |
<resource-ref> <description>Connection Pool</description> <res-ref-name>jdbc/confluence</res-ref-name> <res-type>javax.sql.DataSource</res-type> <res-auth>Container</res-auth> </resource-ref> |
이상을 자세히 보려면 Configuring a MySQL Datasource in Apache Tomcat을 참고하세요.
이제 문제의 두번째입니다. 시스템을 재설치를 할 때 Confluence는 로그인 문제로 시스템에서 데이타를 백업하지 못했습니다. 그래서 MySQL의 데이타베이스 파일을 복사해놓고 OS를 설치했습니다. 사단의 시작은 MySQL의 파일구조를 잘 몰랐다는 점입니다. 데이타베이스 디렉토리에 있던 frm 파일을 백업하면 가능하리라 생각했지만 어제 검색을 해보니 ibdata, ib_logifle이 더 있어야 하더군요. 사고치기 전에 먼저 준비하고 생각하자. 이것이 교훈입니다.(^^)
How to Recover InnoDB MySQL Table Data from ibdata and .frm Files
어떤 분은 복구를 하는 쉘 프로그램을 만들어 공개했습니다. 저는 시험해볼 경우가 아니지만…
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 |
#! /usr/bin/env bash # Restore a innoDB table when all you have is the .ibd / frm (with innodb-file-per-table enabled) # This is a helper script bringing together the following # http://www.mysqlperformanceblog.com/2011/05/13/connecting-orphaned-ibd-files/ # http://www.chriscalender.com/?p=28 # This must contain both .ibd and frm files FILES_TO_RECOVER=/var/lib/mysql/torecover # This must be large enough to store the resulting .sql files TEMP_PATH=/var/lib/mysql/temp # The DataDir (in my.cnf) DATADIR=/var/lib/mysql/data LOGSDIR=/var/lib/mysql/logs if [[ "x${1}" == "x" ]]; then echo "Pass in a .ibd file as $1. This file must have a frm file in the same directory" exit 1 fi; function restart_mysql { # Kill and restart MySQL chown -R mysql:mysql ${DATADIR} mysqladmin shutdown >> /dev/null 2>&1 killall -9 mysqld /usr/sbin/mysqld --basedir=/usr --datadir=${DATADIR} --plugin-dir=/usr/lib/mysql/plugin --user=mysql --log-error=/var/log/mysql/mysql.log --open-files-limit=65535 --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock & count=0 echo "Waiting for MySQL to start" while [ $count -lt 200 ]; do mysql -h localhost -e "SELECT 1" >> /dev/null 2>&1 && break sleep 1 let count=$count+1 done echo "MySQL started" sleep 5 } [[ -d ${TEMP_PATH} ]] || mkdir -p ${TEMP_PATH} table_name=$(basename $1 .ibd) echo "Attempting to recover ${table_name}"; ## STEP 1: Retrieve the schema # Check there is a frm file if [[ ! -f ${FILES_TO_RECOVER}/${table_name}.frm || ! -f ${FILES_TO_RECOVER}/${table_name}.ibd ]]; then echo "Can not find a FRM file for ${table_name} - can not continue"; exit 1 fi # Restart MySQL killall -9 mysqld rm -rf ${DATADIR}/ib* ${DATADIR}/restore/ ${LOGSDIR}/* restart_mysql # Create a test DB echo "create database restore" | mysql # Create a table echo "create table ${table_name} (id int) engine=innodb" | mysql restore # Overwrite the .frm file with the one from the restore location rm -f ${DATADIR}/restore/${table_name}.frm cp ${FILES_TO_RECOVER}/${table_name}.frm ${DATADIR}/restore/${table_name}.frm # sleep 5 # Restart MySQL restart_mysql # Retrieve the schema echo "show create table ${table_name}" | mysql restore > ${TEMP_PATH}/${table_name}-schema.sql echo "Dumping schema for table" mysqldump -d restore ${table_name} > ${TEMP_PATH}/${table_name}-schema.sql ## STEP 2: establish the InnoDB tablespace details # Basically we replace the .ibd file (blank) created above and import it, seeing what value it produces echo "ALTER TABLE ${table_name} DISCARD TABLESPACE;" | mysql restore # Move rather than copy to be efficient mv ${FILES_TO_RECOVER}/${table_name}.ibd ${DATADIR}/restore/${table_name}.ibd chown -R mysql:mysql ${DATADIR} echo "ALTER TABLE ${table_name} IMPORT TABLESPACE;" | mysql restore if [[ $? -eq 0 ]]; then echo "Data is imported. Try to access restore.${table_name}"; exit 0 fi; # If we get to here, almost certainly it failed # Retrieve log file and get the magic numbers # Note the subtraction in perl tables_to_add=$(grep "tablespace id and flags in file" /var/log/mysql/mysql.log | tail -1 | perl -wlne 'print $1-10 if /are (\d+)/') killall -9 mysqld mv ${DATADIR}/restore/${table_name}.ibd ${FILES_TO_RECOVER}/${table_name}.ibd rm -rf ${DATADIR}/ib* ${DATADIR}/restore/ ${LOGSDIR}/* restart_mysql # Create DB echo "create database restore" | mysql echo "Creating filler tables (x ${tables_to_add})" for i in $(seq ${tables_to_add}); do echo "create table testx$i (i int) engine=innodb" | mysql restore; done; # Import schema cat ${TEMP_PATH}/${table_name}-schema.sql | mysql restore echo "ALTER TABLE ${table_name} DISCARD TABLESPACE;" | mysql restore mv ${FILES_TO_RECOVER}/${table_name}.ibd ${DATADIR}/restore/ echo "ALTER TABLE ${table_name} IMPORT TABLESPACE;" | mysql restore if [[ $? -eq 0 ]]; then echo "Data is imported. Dumping restore.${table_name} to ${TEMP_PATH}/recovered-${table_name}.sql"; mysqldump restore ${table_name} > ${TEMP_PATH}/recovered-${table_name}.sql exit 0 else echo "Data did not work - check logs" exit 2 fi; done |
3.
ZeroAOS를 위한 프로젝트 도구를 정비한 이유중 하나는 ZeroAOS와 관련한 문서를 잘 정리해서 고객에게 제공하기 위함입니다. 그래서 Confluence가 무척이나 중요했습니다. 분실한 문서는 문서고, 다시금 ZeroAOS 2.0을 위한 문서를 새롭게 만들려고 합니다. 오래전에 등록하였던 zeroaos.com을 이용하여 제공합니다.
