Gift history
Please access after login.


Wait a moment...

【Symbol Mainnet】Symbolノード運用格闘記(ノード崩壊編)【ShizuiNet】

1176
0
2021-03-26 14:56:32
0.00 mXYM
(0)

おひさしぶりです。目指せ北海道です。

 

Symbol-bootstrap 1.0.2へのアップデート時に、カスタム設定や、間違ったエラー対処などの影響によって、Symbolのメインネットに参加していたibone73ノードが停止しました。ノードを運用する上で気をつけるのは、ミスや不具合によりノードが停止してしまわないようにすること。もし停止しても復旧した時に完全な形に戻せるようにしておくこと。今回のトラブルは、比較的経験のあるLinuxユーザーがちょっとした気の緩みからやりがちな失敗談ですので、絶対にこんなことはやってはいけないよと、後進のために記録を残すことにしました。

 

きっかけは、bootstrap 1.0.2へのアップデートでした。とりあえずインストールまでは--upgradeオプションを付けずにおこなって、問題がないことを確認しました。1.0.2のアップデート内容は以下の通り。

  • Fixed link (--unlink) command when voting properties changes.
  • Broker ports (7902) are closed by default in docker compose.
  • Peer role is selected based on syncsource configuration and not on the harvesting flag.

Port 7902はdockerによって開かれてBrokerが使用するポートで、これを閉じるように設定したというのが主要な変更です。それ以外にも、1.0.1でデフォルトの設定がいろいろ間違っていたのも修正されています。とりあえずvotingに参加していないノードにとっては、必ずしも必要でないように思われました。しかも、Allnodesでは委任ハーベストの設定が消えたなどの情報もあり、このアップデートは見送った方が良いという心の声も聞こえていました。

 

しかし、そのようなトラブルの予感がする時こそ、誰かがやらねばなりません。Allnodesは細かな設定上のトラブル解決法などはノウハウですから公開しないでしょうし、わざわざ今得られている委任ハーベストの報酬を捨てるリスクを冒す必要などないから、普通のノード運用者も誰もやりたがりません。

 

だから、やってみました。自分なら多少のトラブルは乗り越えられるだろうという傲りもありました。

 

symbol-bootstrap config -p mainnet -a dual --upgrade -c mypreset.yml 

 

symbol-bootstrap config -p mainnet -a dual --upgrade -c mypreset.yml 
                         _             _         _                    _         _                      
  ___  _   _  _ __ ___  | |__    ___  | |       | |__    ___    ___  | |_  ___ | |_  _ __  __ _  _ __  
 / __|| | | || '_ ` _ \ | '_ \  / _ \ | | _____ | '_ \  / _ \  / _ \ | __|/ __|| __|| '__|/ _` || '_ \ 
 \__ \| |_| || | | | | || |_) || (_) || ||_____|| |_) || (_) || (_) || |_ \__ \| |_ | |  | (_| || |_) |
 |___/ \__, ||_| |_| |_||_.__/  \___/ |_|       |_.__/  \___/  \___/  \__||___/ \__||_|   \__,_|| .__/ 
       |___/                                                                                    |_|    
? Enter password to use to encrypt and decrypt custom presets, addresses.yml, and preset.yml files. When providing a password, private keys will be encrypted. Ke
ep this password in a secure place! **********
2021-03-25T04:08:38.202Z info     Password has been provided
2021-03-25T04:08:38.459Z info     Upgrading configuration...
2021-03-25T04:08:38.491Z info     Generating config from preset mainnet
2021-03-25T04:08:38.492Z info     Assembly preset dual
2021-03-25T04:08:38.492Z info     Custom preset file mypreset.yml
2021-03-25T04:08:38.545Z info     Reusing Main account NCPPDLXGYBHNPQAXQ6RTNS3T46A7FNTXDFBD43Y
2021-03-25T04:08:38.553Z info     Reusing Transport account NA7WPAE4S2GSHKYF6O7JVSVQ6TJTFO5EVSEGOMQ
2021-03-25T04:08:38.565Z info     Reusing Remote account NBKIRGXRGDK74XDSSGDWIJ6YIY5IN2N6KJWP6FQ
2021-03-25T04:08:38.571Z info     Reusing VRF account NB23ZH4SSDGQQVQBT7WNVTKFRKIJMEBGGUZLNKY
2021-03-25T04:08:38.590Z info     Deleting folder target/nodes/node/server-config
2021-03-25T04:08:38.609Z info     Deleting folder target/nodes/node/broker-config
2021-03-25T04:08:38.616Z info     Deleting folder target/nodes/node/seed
2021-03-25T04:08:38.669Z info     Deleting folder target/gateways/rest-gateway
2021-03-25T04:08:38.848Z info     Deleting folder target/nodes/node/cert
2021-03-25T04:08:38.876Z info     User for docker resolved: 1000:1000
2021-03-25T04:08:38.876Z info     Running image using Exec: symbolplatform/symbol-server:tools-gcc-1.0.0.0 bash createNodeCertificates.sh
2021-03-25T04:08:41.196Z info     Certificate for node node created
2021-03-25T04:08:41.204Z info     Generating node server configuration
2021-03-25T04:08:41.280Z info     Generating broker broker configuration
2021-03-25T04:08:41.321Z info     Non-voting node node.
2021-03-25T04:08:41.328Z info     Upgrading genesis on upgrade!
2021-03-25T04:08:41.328Z info     Deleting folder target/nemesis/seed
2021-03-25T04:08:41.631Z info     Configuration generated.

 

見たところ、正常にアップデートされたように見えます。しかし、次にcomposeをおこなった時に、罠にはまります。

 

tezukalab@ibone73:~/symbol$ symbol-bootstrap compose
                         _             _         _                    _         _                      
  ___  _   _  _ __ ___  | |__    ___  | |       | |__    ___    ___  | |_  ___ | |_  _ __  __ _  _ __  
 / __|| | | || '_ ` _ \ | '_ \  / _ \ | | _____ | '_ \  / _ \  / _ \ | __|/ __|| __|| '__|/ _` || '_ \ 
 \__ \| |_| || | | | | || |_) || (_) || ||_____|| |_) || (_) || (_) || |_ \__ \| |_ | |  | (_| || |_) |
 |___/ \__, ||_| |_| |_||_.__/  \___/ |_|       |_.__/  \___/  \___/  \__||___/ \__||_|   \__,_|| .__/ 
       |___/                                                                                    |_|    
? Enter password to use to encrypt and decrypt custom presets, addresses.yml, and preset.yml files. When providing a password, private keys will be encrypted. Ke
ep this password in a secure place! **********
2021-03-25T04:09:49.082Z info     Password has been provided
2021-03-25T04:09:49.128Z info     /home/tezukalab/symbol/target/docker/docker-compose.yml already exist. Reusing. (run --upgrade to drop and upgrade)

 

分かりますでしょうか。一番最後の行に、docker-compose.ymlを再利用するので、必要なら--upgradeしてくださいとあります。1.0.2ではdockerが7902ポートを使わないようにする変更が含まれていましたので、迷わず--upgradeしました。

 

symbol-bootstrap compose --upgrade
                         _             _         _                    _         _                      
  ___  _   _  _ __ ___  | |__    ___  | |       | |__    ___    ___  | |_  ___ | |_  _ __  __ _  _ __  
 / __|| | | || '_ ` _ \ | '_ \  / _ \ | | _____ | '_ \  / _ \  / _ \ | __|/ __|| __|| '__|/ _` || '_ \ 
 \__ \| |_| || | | | | || |_) || (_) || ||_____|| |_) || (_) || (_) || |_ \__ \| |_ | |  | (_| || |_) |
 |___/ \__, ||_| |_| |_||_.__/  \___/ |_|       |_.__/  \___/  \___/  \__||___/ \__||_|   \__,_|| .__/ 
       |___/                                                                                    |_|    
? Enter password to use to encrypt and decrypt custom presets, addresses.yml, and preset.yml files. When providing a password, private keys will be encrypted. Ke
ep this password in a secure place! **********
2021-03-25T04:10:05.616Z info     Password has been provided
2021-03-25T04:10:05.663Z info     Deleting folder /home/tezukalab/symbol/target/docker
    Error: EACCES: permission denied, unlink '/home/tezukalab/symbol/target/docker/ssl-certs/default_server/default_server.crt'
    Code: EACCES

 

これが、最初のエラーメッセージです。dockerフォルダーを削除しようとしたけれども、内部にあるssl-certsディレクトリがパーミッションエラーを出しています。つまりbootstrapのユーザーである僕が、root権限で作られたssl-certsディレクトリを変更しようとしたわけです。このような現象は、testnetの時から起きており、有名どころではdbディレクトリがよくパーミッションエラーの原因となっていました。

 

sudo symbol-bootstrap compose --upgrade
                         _             _         _                    _         _                      
  ___  _   _  _ __ ___  | |__    ___  | |       | |__    ___    ___  | |_  ___ | |_  _ __  __ _  _ __  
 / __|| | | || '_ ` _ \ | '_ \  / _ \ | | _____ | '_ \  / _ \  / _ \ | __|/ __|| __|| '__|/ _` || '_ \ 
 \__ \| |_| || | | | | || |_) || (_) || ||_____|| |_) || (_) || (_) || |_ \__ \| |_ | |  | (_| || |_) |
 |___/ \__, ||_| |_| |_||_.__/  \___/ |_|       |_.__/  \___/  \___/  \__||___/ \__||_|   \__,_|| .__/ 
       |___/                                                                                    |_|    
? Enter password to use to encrypt and decrypt custom presets, addresses.yml, and preset.yml files. When providing a password, private keys will be encrypted. Ke
ep this password in a secure place! **********
2021-03-25T04:10:27.173Z info     Password has been provided
2021-03-25T04:10:27.219Z info     Deleting folder /home/tezukalab/symbol/target/docker
2021-03-25T04:10:27.262Z info     User for docker resolved: 0:0
2021-03-25T04:10:27.263Z error    YOU ARE RUNNING BOOTSTRAP AS ROOT!!!! THIS IS NOT RECOMMENDED!!!
2021-03-25T04:10:27.263Z info     Creating docker-compose.yml from last used profile.
2021-03-25T04:10:27.271Z info     The docker-compose.yml file created /home/tezukalab/symbol/target/docker/docker-compose.yml

 

こういう場合には、root権限でdockerディレクトリを全部消してやりなおすというのが正攻法なのですが、僕は非推奨のroot権限でのbootstrap実行をしてしまいました(失敗その1)。その結果、rootで実行しているよというエラーは出ていますが、bootstrapによるアップグレードには成功しているように見えるログが出ました。

 

symbol-bootstrap compose --upgrade
                         _             _         _                    _         _                      
  ___  _   _  _ __ ___  | |__    ___  | |       | |__    ___    ___  | |_  ___ | |_  _ __  __ _  _ __  
 / __|| | | || '_ ` _ \ | '_ \  / _ \ | | _____ | '_ \  / _ \  / _ \ | __|/ __|| __|| '__|/ _` || '_ \ 
 \__ \| |_| || | | | | || |_) || (_) || ||_____|| |_) || (_) || (_) || |_ \__ \| |_ | |  | (_| || |_) |
 |___/ \__, ||_| |_| |_||_.__/  \___/ |_|       |_.__/  \___/  \___/  \__||___/ \__||_|   \__,_|| .__/ 
       |___/                                                                                    |_|    
? Enter password to use to encrypt and decrypt custom presets, addresses.yml, and preset.yml files. When providing a password, private keys will be encrypted. Ke
ep this password in a secure place! **********
2021-03-25T04:10:52.801Z info     Password has been provided
2021-03-25T04:10:52.845Z info     Deleting folder /home/tezukalab/symbol/target/docker
    Error: EACCES: permission denied, unlink '/home/tezukalab/symbol/target/docker/docker-compose.yml'
    Code: EACCES

 

しかし、もう一度ユーザー権限でアップグレードをかけてみると、今度はdocker-compose.ymlという重要ファイルがルート権限でしかアクセスできなくなりました。ここで僕の長年のLinux経験から来る悪い癖が出ました。パーミッションなんて変えちゃえばいい(失敗その2)。

sudo chmod 777 docker-compose.yml

これは、Linuxを長く扱っている人が、パーミッションエラーと遭遇した時に自動的に打ち込んでしまうコマンドです。実際多くのパーミッションエラーはこれで解決したりします。しかし、失敗した時には重大な問題を引き起こす可能性のある怖いコマンドでもあります。見かけ上の問題は解決していると思われたので、docker-compose.ymlにhttps化のためのhttps-portalの設定を追記(失敗その3)して、ノードを起動しました。

 

symbol-bootstrap run
                         _             _         _                    _         _                      
  ___  _   _  _ __ ___  | |__    ___  | |       | |__    ___    ___  | |_  ___ | |_  _ __  __ _  _ __  
 / __|| | | || '_ ` _ \ | '_ \  / _ \ | | _____ | '_ \  / _ \  / _ \ | __|/ __|| __|| '__|/ _` || '_ \ 
 \__ \| |_| || | | | | || |_) || (_) || ||_____|| |_) || (_) || (_) || |_ \__ \| |_ | |  | (_| || |_) |
 |___/ \__, ||_| |_| |_||_.__/  \___/ |_|       |_.__/  \___/  \___/  \__||___/ \__||_|   \__,_|| .__/ 
       |___/                                                                                    |_|    
    Error: EACCES: permission denied, mkdir 'target/docker/ssl-certs'
    Code: EACCES

 

分かりますでしょうか。上でroot権限で無理やり通した--upgradeが、dockerディレクトリもroot権限でしか操作できないようにしたために起きたと思われるパーミッションエラーです。ここでもう一度禁断の一手を繰り出してしまいました(失敗その4)。

 

sudo chmod 777 docker

 

ここでノードを立ち上げてみたところ、最初はうまく立ち上がった様にみえたのですが、

 

 

node, brokerがダウンして、mongoへのアクセスも問題を抱えた状態になりました。この時点で、データベースや設定に予想できないダメージを受けたと考えられたため、ノードを一旦すべてリセットして、再起動すべきだという結論に達しました(次回に続く)。

Writer
歯の神経の中にいる「歯髄(しずい)細胞」を再生医療に活用するための研究をしています。再生医療の実用化に足りないものは細胞のトレーサビリティだと気づき、Symbolのブロックチェーン技術を使って、細胞の流通や製造管理のための「ShizuiNet」を開発中。現在、実用化のための大学発ベンチャー起業を準備しています。しずいノード(symbol.shizuilab.com)を運用しており、委任ハーベスト収入は研究開発費として使わせていただきます。下記リンクからノード実績を御覧いただけます。

Comment
Login required to post comment
Loading...
https://symbol-sakura-16.next-web-technology.com:3001,https://symbol.harvest-monitor.com:3001,https://hideyoshi-node.net:3001,https://harvest-01.symbol.farm:3001,https://criptian-xym-node.net:3001,https://35665.xym.stir-hosyu.com:3001,https://yuna.keshet.finance:3001,https://cryptocat-xym-node.com:3001,https://misaki-xym.com:3001,https://ik1-305-12844.vs.sakura.ne.jp:3001,https://17107.xym.stir-hosyu.com:3001,https://23639.xym.stir-hosyu.com:3001,https://sym-main-01.opening-line.jp:3001,https://sym-main-02.opening-line.jp:3001,https://sym-main-03.opening-line.jp:3001,https://sym-main-04.opening-line.jp:3001,https://sym-main-05.opening-line.jp:3001,https://sym-main-06.opening-line.jp:3001,https://sym-main-07.opening-line.jp:3001,https://sym-main-08.opening-line.jp:3001,https://sym-main-09.opening-line.jp:3001,https://sym-main-10.opening-line.jp:3001,https://symbol-node-01.kokichi.tokyo:3001,https://50038.xym.stir-hosyu.com:3001,https://27423.xym.stir-hosyu.com:3001,https://angel.vistiel-arch.jp:3001,https://xym.stakeme.tokyo:3001,https://00-symbol-node.yagiyoshi.com:3001,
6BED913FA20223F8,051FAEC15105C808,73019335A785A3AE,5289A9B0DBB7EB25,6B245EAF1302E444,2C4A4893229DD0A9,63509D495CAD7B80,481D74291A71FD1F,009388A38C91A8B2,4E94920841641B77,027C6AD49DE2C9F9,29FCA5D3092205EC,56085AD9FCE150AC,7D47EE5423795E68,1FCD7C6B47C7AC5C,34F165131675B97B,2277A3D3C939E3BD,1BEE7E51C52B9E4C,7DE0FA227D5C284A,69C715D2F4E80338,5CF9D768B02E51EA,5B96E6496754C18E,35584939456EE19C,430AB6F115D709C5,202FC8C6762F1286,1DA6F5986C56CAB4,77F0C0918BDDCA75,05D935AB3DBBBDA7,3AB05B7B3373067F,383EEBD409479BDD,282E5F730EEF0F3C,108AFF21E54B77EB,0C4AAE8E82E054FD,18964001EF89D687,15BDE2DDF36FE763,01E2769C92FFB187,427C7F0474B2170B,3F2EEE17968715D5,6C0AFBA20EEBF08B,22975F2097F16D15,2A30D04FF35E8641,03ACEC4F51A71804,5235C4249928922B,2BFEB24F70B91041,741320E728843965,7C4E97850A863208,0586FF7E5ED1C680,606432C50BDE4EB5,15A6AD5E5ED6AC0E,59932634EDBF2A21,5E4F05ED77C64434,71C79278A325FF67,616EC15DE7D641A0,25C2DAB4FE687CBE,3D78B91922741293,5DC4B8DCDC4D3098,2693037B1881D5FA,178FE008F5DCE797,174A93DA9B651FBD,128B2CD071838D3E,1F5630200C5A6025,43449FF761B3DD67,4B20F46C289CA548,35DBA0A70A96615F,78CE44A425CD4514,37179FDE046FE7F2,1739E47C99BAF114,0F3B4A0F2E58703B,3C41561BE3DF7461,2AF0FBFEBF29231F,74CD75720BA4F553,1A5229DC90802C6C,0D2888CD0CBB78EE,2558F02FE439C78F,5DDD07C51EC896A7,437B094116B91BF3,6C9E7CFE33220C8F,38E1C92F412FCA96,2FB263845F59AF82,28C3C38B84138804,659821D4511185A7,7C6095DA82D3E981,70ADA95932385F9F,0BE6C51AD316BF2B,78E6ED1B6C05FD98,39534A8DFD9C0F1E,1BAF1FE1AAF90CD0,6782B8D9162D0C12,5EF22919F6EA15F7,04A3F3F5C088626A,7484B044AC8EF734,305B0ECE763A1E81,08738DB598D0BA37,6F4018163AC51F88,46650CE0C72739A8,0208FCB9186781E5,4E685399C9F8C991,77DB7D348B042A18,578ED7B270B43E64,0B34212023AA5139,479CEDAEE6FAC642,4266458B86437B4B,1F7022D092066B94,0CA28E24CB575AA6,4DCC3C025CDC0BB8,1BD05266C7410EE1,45C46BC710C187AF,7CC2C672543CA102,555BA3719D30D3B9,75C4079CCCCF3E82,66C98D947EAC56FB,1C041AB88A8D222B,79C13E9FE7DA49AB,54D872B5DB378F52,5C97B2414157B039,31E7A64CFF778586,1DFD11EEDA4662C4,18506C180280D8AB,02E95DB8811B3F7A,2D289599AF071703,17EA80052AF590B0,5239AE78AA9011CC,6B6511925501765B,2730974F2D11E9FA,08AB4E53E95E417E,1D0DD379C8C4BA49,26EE7E07E1255FAB,015FABE3F602FA91,366D7D6540335156,2D1E8E73B9F09391,043694AD272BCEBA,064335A213099492,3C40AE05D9758591,71C4BCA24A2FA6C1,20170ABD32244B78,74EBE4C9FD9C3BC8,713583F712D574FA,7C05BBBD486CF544,634D5A328A659C41,2DA0EC8CA32B7CE6,4D0ECC9F6F70D67D,7426EE72B3DFD620,3C3E58B64A8CD43C,5007CF79DF192FB2,1531F39F1B0AA8C3,5D1E928E7902404F,74599424DE012A19,52F96AC0043B02D8,0C694031CFC22C84,03D6EE58174D16DD,054B071E97323D54,2B58942A0A9D3908,7FE10DF86F32776F,1A08F9B88AE4CCF9,03CB7A99E6F6F65A,2F0BAAAD886013B2,7D8FF6C570E909C3,237ACBD2073D7C22,29498519D19B27CF,03E85F9F15A92D27,62B4F899B6DADDFF,6649A6F82740775E,1FA7CAD8017C3045,5FFB7126DD87CC5B,07039874D46F8B44,3391DD8105AD0C82,56C97E544EA9C149,6103DBFFA022249B,41E9771D99FF96A5,65CF7BE26FC7BF56,789063B9FDA7D02B,3EE026A17E4D1895,44B13D3F4EEB8AC9,248AAD9D9E2C1984,0CEDE2DEDDB4832F,5DFE51E2C6617CA4,4FAE3B092339A328,03B7E30D264E586B,3B5B8D2389EEB8C9,0058930348E8DA39,43C44AE173D50661,16E0B9B56763A2A6,43B05E6CCD87A765,33276E3A53106C11,24F35BCEA31E9AFB,49320DB27BA10BF5,01B69528B052EFA3,21C3025E1B2B9D3C,613FFCD9027A73D9,79A5BC34AE8B6314,35BFF98EA19690D4,156CDDD2D6791814,6E4E5A6C8F1ECA31,21BCF4CD26C307FF,15F6E07EAC6D5186,71A24162BA611651,0EDC8542160D8DAA,771BAE5451E881A8,1E47CA21337876B5,7688DC299D77C545,1166391DB32354A4,6A0AF7328EBBE113,38E48122C0FC8BCF,484874B2C669D6E1,4EF142A5D00BDA63,0508049897379E24,50B28C0858AE222C,75F2674CEE45E919,2F0DC3D306469BF9,5A86884742F89C7F,78F0F31776134860,1576EB985E541EA9,17D9C6FCB4FAB2A0,6B2E9EAF2632AEC8,007050CE9F59E77C,5D88028B3A9E633A,554191B46C16E4C4,5A0E1268E65E99F2,41A67647778AEA4D,7EADDBC2119EADA0,3D4235EB6FC9247D,5D25658948613563,5629D816678CF8FC,48A147A7F34C0131,46DF1D828736AFE1,748D83A906C897E4,0708BF363BA9595A,58384D5F0D793C09,531A0934DE43FBAC,1C4EEB7AD6B44AF4,383B57EBD5272C12,41F8077951D07ADF,0F52B4D356FDA824,1FE0805A112A03DF,38E8FFDFCD6510FF,0F65746CB1D7AD53,1E9E3010A1412DDB,7401A59C5DBD66A4,5FDC6383C702EC40,3B97B8CA49739205,5A799437D541B2DA,187E2C0B8F401ED9,0ACA1FDDEB9F6A07,4F2DC8BA863044C6,7D2383791D91CD04,54ACEAF1E8632DF1,7B9DC57CC154B2E0,0B7766A119D5E4B5,49D82E72E99EB836,509A58B6FDFFC197,0C1058BB20787615,581B528745FE0F3B,28D1C21EDE70206A,23A72A2876482029,22EB02FCBC661527,5A8F12439B09B33E,5FF7741F1AE008DE,220DE9C58B8E0E71,5D9D5C6BFE968E2C,3F0B0C29CFD04713,11B52399E03C7E5C,14ABF8C934D15151,7290BAEF5C9CF307,6A44EB5C0F8ED639,255AC0628631B47B,7ADA0B238BB2E29D,05E545728E183EFA,73908A9FF9A309BE,7542C49F2737C4DE,6BE5318AED3E68DB,581F8B63FDF26797,6936D8BB20F4668A,410ECE9587841E7F,149C29AC78DA6465,2181451A49AB930A,7930B6BDAED90925,311AD92AC357CFD7,14340B796150DF92,4D4C35DA96550436,1B5CF0365D451EED,7691E0E6C687B9C0,76D453D709EEE2ED,22AE5C6526EBDE2B,21EF55EAB088DE3E,3FAD71C1671AF556,7EBEF5D03311CF41,367C8B5BD73BC538,182E30BC4D588B3B,66DE982975F20E6D,66224C8828E08DD9,5477E77F11971CE0,2F8D4B55DAB027A2,5CF59ED990B042A0,520C69A467DE143D,53AF2CD5F4182C4B,24DA833B682CFF33,