Marcin Bogusz Forexworld

Marcin Bogusz CERN, oficina de colaboração WLCG da PH-CMG CMS replicação on-line offline Replicação onlineoffline via Oracle Streams WLCG Collaboration. Apresentação sobre o tema: Marcin Bogusz CERN, oficina de colaboração WLCG da PH-CMG CMS replicação on-line offline Replicação offoffline online via Oracle Streams WLCG Collaboration. Transcrição de apresentação: 1 Marcin Bogusz CERN, oficina de colaboração WLCG de PH-CMG CMS replicação on-line offline Replicação on-line offline via Oracle Streams WLCG Workshop de colaboração janeiro de 2007 2 Marcin Bogusz CERN, PH-CMG Workshop de colaboração WLCG CMS replicação off-line offline Agenda Configuração de replicação Onlineoffline Testes de replicação Perguntas de desempenho 3 Marcin Bogusz CERN, PH-CMG Workshop de colaboração WLCG CMS onlineoffline replicação Configuração O2O Transformação Replicação Oracle Streams 4 STREAMS Arquitetura CAPTURA PROCESSO APLICAR PROCESSO usuário mudanças REDO LOG log mudanças mudanças de captura LCRs SOURCE QUEUE DESTINATION QUEUE propagar eventos LCRs aplicar alterações DATABASE DE FONTE TARGET DATABASE (réplica ) Capturar o consumo de estágio Slide by Eva Dafonte 5 Marcin Bogusz CERN, PH-CMG Workshop de colaboração WLCG CMS replicação onlineoffline Configuração do teste Replicação entre dois RAC de nó duplo O processo de captura é executado na instância 2 do d3r Aplicar o processo é executado na instância 2 do teste1 6 Marcin Bo Gusz CERN, PH-CMG Workshop de colaboração WLCG CMS replicação onlineoffline Teste ambiente Teste replica objetos ecalpedestais 7 objetos devem ser inseridos em uma única transação Cada objeto tem 1,63 MB de tamanho, após mapeamento objeto-relacional stecalpedestalsitem linhas As objetos são gerados Por procedimento PLSQL fornecido por Ricky Egeland Temos 428.400 inserções de linha em um único commit, o que corresponde ao número de LCRs O tamanho do LCR depende da linha 7 Marcin Bogusz CERN, PH-CMG WLCG Workshop de Colaboração CMS onlineoffline replicação Streams monitoring Tools strmmon Zbyszeks monitor AWR Logminer Lemonweb Oracle Enterprise manager Parâmetros LCRs fluxo Tamanho dos pools de fluxos Redo gerado nos bancos de dados de origem e de destino Tempo de replicação 8 Marcin Bogusz CERN, PH-CMG WLCG Workshop de colaboração CMS onlineoffline replication Performance Goal. Para reduzir o tempo de replicação, aumentou a taxa de transferência. Parecia que o tempo de replicação dependia do intervalo entre testes. Estrutura de tempo periódica dos resultados. Responsável por diferenças: KJC Wait events (AWR) Solução patch set 9 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS onlineoffline replication Desempenho Tempo de replicação 300s Com 11,4 MB de carga útil MBs 1428 inserções de linha por segundo Taxa média de aplicação LCR Relatório 2700s AWR Ambas as CPUs utilizadas em 50 120 segundos de Streams AQ: enqueue bloqueado devido a eventos de espera de controle de fluxo Limonweb IO muito alto durante a execução do teste (mais de 1 GB) 10 Marcin Bogusz CERN, oficina de colaboração WLCG de PH-CMG Replicação em linha do CMS em linha Redo High IO acabou sendo gerado pelo processo de Log Writer (LGWR) Mais uma investigação mostrou que o refazer no site de destino era 12 vezes maior do que na fonte A mineração de logs de banco de dados mostrou que o refazer é gerado devido à inserção na tabela STREAMSAPPLYSPILLMSGSPART Entrada redo típica f Ou a tabela stecalpedestalsitem foi de 75 bytes vs. 590 bytes para a fila de derramamento Redo volume no destino é de 700 MB, ambas as tabelas de reto relacionado à inserção são 11 Marcin Bogusz CERN, PH-CMG Workshop de colaboração WLCG CMS replicação online offline LCRs Fluxo 12 Marcin Bogusz CERN, Workshop de colaboração WLCG de PH-CMG CMS onlineoffline replicação Redo destino 13 Marcin Bogusz CERN, PH-CMG Workshop de colaboração WLCG CMS replicação em linha de linha Derramando Inserir dados para STREAMSAPPLYSPILLMSGSPART tabela está relacionada à arquitetura do processo de candidatura As mensagens são derramadas no disco a partir da memória O processo de aplicação TXNLCRSPILLTHRESHOLD parâmetro modificável pelo usuário pode alterar o limiar de derramamento. Aumentar o limiar sobre o número de LCRs em uma transação deve desativar o derramamento de aplicação No entanto, o aumento deste parâmetro degrada o desempenho 14 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS replicação em linha offline O fluxo de fila O tamanho do pool de fluxos é de 1,3 GB Tamanho de pool de fluxos alocados Nunca excede 75 Derramando quando as mensagens são enfiadas por mais de 5 minutos (não o caso) Derramando quando há nenhuma memória disponível (talvez o caso, mas 1,3 GB) Limites de derrame mais altos levam a lacunas de propagação e degradam o desempenho, o limite padrão é de 10.000 Enquanto o limiar de derrame Configurado para valores acima de 200K mensagens, o derramamento de fila ocorre além de aplicar derramamento 16 Marcin Bogusz CERN, PH-CMG WLCG Collaboration Workshop CMS reação em linha offline Strmmon - destino: 55: 50 test12- NET 4K 0 PR01 0 Q - A sec: 55: 52 Test12- NET 5K 0 PR01 0 Q - A seg: 55: 54 teste12- NET 5K 0 PR01 0 Q - A seg: 55: 56 teste12- NET 821K 0 PR Q - A seg: 55: 58 test12- NET 1M 0 PR Q - A seg: 56: 00 test12- NET 1M 0 PR Q - A seg: 56: 02 test12- NET 356K 0 PR Q - A seg: 56: 04 test12- NET 2M 0 PR Q - A sec: 56 : 06 test12- NET 316K 0 PR Q - A sec: 56: 08 test12- NET 1M 0 PR Q - A seg: 56: 10 teste12- NET 5K 0 PR01 0 Q - A seg: 56: 12 test12- NET 5K 0 PR01 0 Q - A sec: 56: 14 test12- NET 5K 0 PR01 0 Q - A seg: 56: 16 teste12- NET 5K 0 PR01 0 Q - A seg: 56: 18 teste12- NET 5K 0 PR01 0 Q - A Seg: 56: 20 teste12- NET 5K 0 PR01 0 Q - A seg: 56: 22 teste12- NET 203K 0 PR Q - A seg: 56: 25 teste12- NET 884K 0 PR Q - A seg: 56: 27 teste12- NET 884K 0 PR Q - A sec: 56: 29 test12- NET 868K 0 PR Q - A seg: 56: 31 teste12- NET 884K 0 PR Q - A seg: 56: 33 teste12- NET 884K 0 PR Q - Um segundo : 56: 35 test12- NET 772K 0 PR Q - A seg: 56: 37 test12- NET 882K 0 PR Q - A seg: 56: 39 test12- NET 996K 0 PR Q - A seg: 56: 41 test12- NET 756K 0 PR Q - A sec NET 4K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 200 7-01-19 10:55:52 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:54 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:56 test12- NET 821K 0 PR01 2526 Q570584 2526 0 - A003 0 0 19sec 2007-01-19 10:55:58 test12- NET 1M 0 PR01 3945 Q570584 3940 0 - A003 0 0 19sec 2007-01-19 10:56:00 test12- NET 1M 0 PR01 6005 Q570584 6009 0 - A003 0 0 19sec 2007-01-19 10:56:02 test12- NET 356K 0 PR01 1103 Q570584 1099 0 - A003 0 0 19sec 2007-01-19 10:56:04 test12- NET 2M 0 PR01 8197 Q570584 8201 0 - A003 0 0 19sec 2007-01-19 10:56:06 test12- NET 316K 0 PR01 1004 Q570584 997 0 - A003 0 0 19sec 2007-01-19 10:56:08 test12- NET 1M 0 PR01 4745 Q570584 4753 0 - A003 0 0 19sec 2007-01-19 10:56:10 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:12 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:14 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:16 Teste12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:18 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:20 Test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:22 test12- NET 203K 0 PR01 600 Q570584 600 0 - A003 0 0 19sec 2007-01-19 10:56:25 Test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:27 teste12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:29 Test12- NET 868K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:31 test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:33 Test12- NET 884K 0 PR01 2746 Q570584 2741 0 - A003 0 0 19sec 2007-01-19 10:56:35 test12- NET 772K 0 PR01 2510 Q570584 2507 0 - A003 0 0 19sec 2007-01-19 10:56:37 Teste12- NET 882K 0 PR01 2757 Q570584 2757 0 - A003 0 0 19sec 2007-01-19 10:56:39 test12- NET 996K 0 PR01 3046 Q570584 3045 0 - A003 0 0 19sec 2007-01-19 10: 56:41 test12- NET 756K 0 PR01 2290 Q570584 2298 0 - A003 0 0 19sec titleMarcin Bogusz CERN, PH-CMG WLCG Workshop de colaboração CMS rejeição on-line offline Strmmon - destino 2007-01-19 10:55:50 test12- NET 4K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:52 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:54 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:55:56 test12- NET 821K 0 PR01 2526 Q570584 2526 0 - A003 0 0 19sec 2007-01-19 10:55:58 test12- NET 1M 0 PR01 3945 Q570584 3940 0 - A003 0 0 19sec 2007-01-19 10:56:00 test12- NET 1M 0 PR01 6005 Q570584 6009 0 - A003 0 0 19sec 2007-01-19 10:56:02 test12- NET 356K 0 PR01 1103 Q570584 1099 0 - A003 0 0 19sec 2007-01-19 10:56:04 test12- NET 2M 0 PR01 8197 Q570584 8201 0 - A003 0 0 19sec 2007-01-19 10:56:06 test12- NET 316K 0 PR01 1004 Q570584 997 0 - A003 0 0 19sec 2007-01-19 10:56:08 test12- NET 1M 0 PR01 4745 Q570584 4753 0 - A003 0 0 19sec 2007-01-19 10:56:10 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:12 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:14 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:16 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:18 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:20 test12- NET 5K 0 PR01 0 Q570584 0 0 - A003 0 0 19sec 2007-01-19 10:56:22 test12- NET 203K 0 PR01 600 Q570584 600 0 - A003 0 0 19sec 2007-01-19 10:56:25 test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:27 test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:29 test12- NET 868K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:31 test12- NET 884K 0 PR01 2750 Q570584 2750 0 - A003 0 0 19sec 2007-01-19 10:56:33 test12- NET 884K 0 PR01 2746 Q570584 2741 0 - A003 0 0 19sec 2007-01 -19 10:56:35 test12- NET 772K 0 PR01 2510 Q570584 2507 0 - A003 0 0 19sec 2007-01-19 10:56:37 test12- NET 882K 0 PR01 2757 Q570584 2757 0 - A003 0 0 19sec 2007-01 -19 10:56:39 test12- NET 996K 0 PR01 3046 Q570584 3045 0 - A003 0 0 19sec 2007-01-19 10:56:41 test12- NET 756K 0 PR01 2290 Q570584 2298 0 - A003 0 0 19sec 17 Marcin Bogusz CERN, PH-CMG Workshop de colaboração WLCG CMS onlineoffline replicação 2 x derramamento, limiar 130K 18 Marcin Bogusz CERN, PH-CMG WLCG Workshop de colaboração CMS onlineoffline replicação 2 x derramamento, limiar 130K 19 Marcin Bogusz CERN, PH-CMG WLCG Workshop de colaboração CMS onlineoffline Replicação desempenho LCR O desempenho depende muito do número de LCRs em uma transação, em vez de tamanho LCR Teste com objetos BLOB em vez de dados relacionais A mesma carga útil, mas dados binários Inserindo objetos binários de 7 x 1,63 MB Essa transação produz 3600 LCRs Tempo de replicação 30 segundos (Diferença do fator 10) Sem derrame da fila Pro Provavelmente não se aplica derramamento Redo ratio sourcedestination é 4566 (MB) 20 Marcin Bogusz CERN, PH-CMG WLCG Workshop de colaboração CMS onlineoffline replicação Perguntas 21 Marcin Bogusz CERN, PH-CMG WLCG Workshop de colaboração CMS onlineoffline replicação ObrigadoOperador Domen Marcin Bogusz Informacje o firmie Operator Domen Marcin Bogusz powstaa w pitek 30 kwietnia 2010, um wic istnieje ju sze lat, dziewi miesicy, pitnacie dni. Miejsce rejestracji firmy para Kompasowa 1 lok. 60, 4-048 Warszawa. Wedug rejestru CEIDG firma dziaa w brany: Przetwarzanie danych zarzdzanie stronami internetowymi (hospedagem) i podobna dziaalno. Zaoycielem, primeiro-ministro, Marcin Bogusz. Numer identfikacji podatkowej (NIP) Operador Domen Marcin Bogusz para 1132461603, natologast Rejestr Gospodarki Narodowej (REGON) para 142314910. Podstawowe informacje Nazwa firmy Operador Domen Marcin Bogusz Waciciel Marcin Bogusz Número NIP 1132461603 Numer REGON 142314910 Obszar dziaalnoci Przetwarzanie danych zarzdzanie stronami internetowymi (hospedagem) I podobna dziaalno (3292 innych firma wz tym obaszrem dziaalnoci) Adres rejestracji Wojewztwo: Mazowieckie Miasto: Warszawa (94980 innych firma w tym miecie) Kod pocztowy: 4-048 Ulica: Kompasowa 1 lok. 60 Szeroko geograficzna: 52 13039 52,1quot N Dugo geograficzna: 21 5039 4,3quot E EdytujUzupenijUsu Operador de Dane Domen Marcin Bogusz na mapie