Регистрация Framework для Hadoop -- hadoop поле с участием logging поле с участием log4j поле с участием hdfs поле с участием apache-commons-logging пол Связанный проблема

Logging framework for hadoop


0
vote

проблема

русский

Я должен работать над структурой лесозаготовки, которая захватила бы журналы для работы Hadoop, которая будет загружать данные из HDFS, обрабатывала данные, хранить обработанные данные в HDFS, а затем Sqoop хранимые данные в другую файловую систему при необходимости. Я новичок для регистрации рамок и не уверен, как начать. Я ищу предложения о том, как действовать с рамки лесозаготовки для вышеуказанного требования.

fyi, будут определены пользовательские исключения и сообщения, которые также будут частью журналов.

Английский оригинал

I have to work on a logging framework that would capture the logs for a hadoop job that would load data from hdfs, process the data, store the processed data into hdfs and then sqoop the stored data to another file system when needed. I am new to logging framework and not sure about how to start. I am looking for suggestions on how to proceed with the logging framework for the above requirement.

FYI, there will be user defined defined exceptions and messages that would be part of the logs as well.

</div
              

Список ответов

0
 
vote

Вы можете использовать log4j ( http://logging.apache.org/log4j/2. x / ). Он поставляется с Hadoop, поэтому не нужно добавлять какие-либо библиотеки.

log4j довольно прост, чтобы вотворить сообщение, которое вы просто используете <Код> logger.info("info message") Чтобы зарегистрировать сообщение об ошибке с использованием исключения <код> logger.error("error message",exceptionObject)

Вот пример код на том, как использовать Log4j в классе Mapper. То же самое идет для вашего водителя и редуктора

 <код> package com.test; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache.log4j.Logger;  public class MyMapper extends Mapper<LongWritable, Text, Text, Text> {     private static final Logger logger = Logger.getLogger(MyMapper.class);      @Override     protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {         //logger.error("This is error", e);         logger.error("This is error");         logger.warn("This is warning");         logger.info("This is info");         logger.debug("This is info");         logger.trace("This is info");     } }   

Если у вас есть кластер Hadoop, сообщение журнала от индивидуальных Mapper / редукторов будет в узлах, которые выполняли их

 

You can use Log4j (http://logging.apache.org/log4j/2.x/). It comes with Hadoop so no need to add any libraries.

Log4j is pretty simple, to log message you just use logger.info("info message") to log error message with exception use logger.error("error message",exceptionObject)

Here is example code on how to use Log4j in a Mapper class. Same goes for your Driver and Reducer

package com.test; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache.log4j.Logger;  public class MyMapper extends Mapper<LongWritable, Text, Text, Text> {     private static final Logger logger = Logger.getLogger(MyMapper.class);      @Override     protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {         //logger.error("This is error", e);         logger.error("This is error");         logger.warn("This is warning");         logger.info("This is info");         logger.debug("This is info");         logger.trace("This is info");     } } 

If you have hadoop cluster the log message from individual mapper/reducers will be in the nodes that executed them

</div
 
 

Связанный проблема

2  Как установить тест на писем Hadoop  ( How to unit test hadoop writable ) 
Я реализовал <код> WritableComparable самостоятельно, но я нахожусь находятся в хорошем состоянии, чтобы тест на единицу <код> write и <код> readFields мет...

0  Неожиданный путь хранения при работе HDFS Namenode -Format  ( Unexpected storage path while running hdfs namenode format ) 
Я пытаюсь настроить Hadoop на моем Mac Mojave 10.14.6. Версия Hadoop, которую я использую, - 3.0.3 Я следовал за этим руководством, чтобы настроить конфигур...

1  Синхронизация данных между Hadoop и PostgreSQL с помощью симметричныхds  ( Synchronizing data between hadoop and postgresql using symmetricds ) 
Я использую Hadoop, чтобы сохранить данные нашего приложения. Как я могу синхронизировать данные между PostgreSQL и Hadoop? Я использую симметрии в качестве и...

2  Shell Щелона для Shells бросает исключение файла при выполнении запросов, охватить добавление файлов JAR, используя «Добавить JAR»  ( Hive shell throws filenotfound exception while executing queries inspite of add ) 
1) Я добавил файл Serde JAR с помощью «Добавить JAR /Home/hduser/softwares/hive/hive-serdes-1.0-snapshot.jar;» 2) Создать таблицу 3) Стол успешно создает ...

0  Как обновить с новой записью, чтобы улить главный стол из таблицы Temp  ( How to get updated with new record to hive main table from temp table ) 
Я новичок в улите. У меня есть основной стол T1 и TEMP Table T2. Таблица Temp загружается в счет входящих данных каждый день. Входящие данные могут быть обнов...

2  Действие оози Hive зависает и сердце бьется навсегда  ( Oozie hive action hangs and heart beats forever ) 
Я пытаюсь запустить действие улья через рабочий процесс оози, который я создал в оттенке, но действие «сердце» навсегда ударяет и не выполняет SQL. Я прочит...

0  Хранение последних твитов, присоединяясь к 2 столам в C, используя улей  ( Storing the latest tweets by joining 2 tables into c using hive ) 
У меня было 3 таблицы A, b Общие вещи TweeTid, Account_id В обеих таблицах я хочу присоединиться к A и B для этого, я получил запрос <код> Select created_da...

1  Невозможно подключиться к запущенному серверу H2O из Python [h2o.ai]  ( Unable to connect to a running h2o server from python h2o ai ) 
Ошибка при подключении к серверу H2O работает на сервере Core EMR с главного узла. <код> import h2o h2o.connect(url="http://IP:54321") Проследить ошибку...

2  Какое распространение Linux лучше всего подходит для Nutch-Hadoop?  ( Which distribution of linux is best suited for nutch hadoop ) 
Мы пытаемся выяснить, какие распределение Linux лучше всего подходит для интеграции Щема-Hadoop? Мы планируем использовать кластеры для ползания большого соде...

0  Hadoop 'copyfromLocal: не может создать путь от ошибки нулевой строки  ( Hadoop copyfromlocal can not create a path from a null string error ) 
У меня есть вопрос об этой ошибке на Hadoop. Я хочу скопировать файл TXT с моего локального диска в папку Hadoop WCDATA (для запуска примера WordCount на Had...

0  Hive UDF дает дубликат результат независимо от параметров, когда вложены в подзапросе  ( Hive udf gives duplicate result regardless of parameters when nested in a subqu ) 
Недавно я разработал улей универсальный UDF Getad . Он принимает тип карты и параметр типа строки и выводит строковое значение. Но я обнаружил, что выход UDF...

0  Hadoop SASTCP поднимает не мог найти или загрузить основной класс org.apache.hadoop.mapreduce.v2.app.mrappmaster  ( Hadoop distcp raises could not find or load main class org apache hadoop mapredu ) 
Когда я запускаю DistCP, чтобы переместить данные из S3 на мои локальные HDF, я получаю это исключение во время карты, уменьшающая задание, запущенную для коп...

6  hive.metastore.retryingmetastOrEclient: метастозерец потерял связь. Попытка повторно подключить ошибку, вызвавшие другие ошибки на улей  ( Hive metastore retryingmetastoreclient metastoreclient lost connection attempt ) 
Время от времени, когда разработчики запускают запросы улья, они получают следующую ошибку (первая запись журнала ниже). Когда я смотрю через длинные улья н...

1  Spark Streaming MapWithState не удается через 48+ часов с вопросом записи контрольной точки  ( Spark streaming mapwithstate fails after 48 hours with checkpoint write issue ) 
У нас есть программа для искровой потоковой передачи, которая читает вход от KAFKA, используя CONTRESTIRECTSTREAM и создает композитный объект на основе общ...

0  Linux - ошибка при запуске исполняемых файлов  ( Linux error while running executable files ) 
Я пытаюсь запустить исполняемый файл на вновь установленном Ubuntu, и я получаю следующую ошибку: & gt; ./ hadoop <код> hadoop : Not a directoryh & g...

Связанный проблема

2  Как установить тест на писем Hadoop 
0  Неожиданный путь хранения при работе HDFS Namenode -Format 
1  Синхронизация данных между Hadoop и PostgreSQL с помощью симметричныхds 
2  Shell Щелона для Shells бросает исключение файла при выполнении запросов, охватить добавление файлов JAR, используя «Добавить JAR» 
0  Как обновить с новой записью, чтобы улить главный стол из таблицы Temp 
2  Действие оози Hive зависает и сердце бьется навсегда 
0  Хранение последних твитов, присоединяясь к 2 столам в C, используя улей 
1  Невозможно подключиться к запущенному серверу H2O из Python [h2o.ai] 
2  Какое распространение Linux лучше всего подходит для Nutch-Hadoop? 
0  Hadoop 'copyfromLocal: не может создать путь от ошибки нулевой строки 
0  Hive UDF дает дубликат результат независимо от параметров, когда вложены в подзапросе 
0  Hadoop SASTCP поднимает не мог найти или загрузить основной класс org.apache.hadoop.mapreduce.v2.app.mrappmaster 
6  hive.metastore.retryingmetastOrEclient: метастозерец потерял связь. Попытка повторно подключить ошибку, вызвавшие другие ошибки на улей 
1  Spark Streaming MapWithState не удается через 48+ часов с вопросом записи контрольной точки 
0  Linux - ошибка при запуске исполняемых файлов 



© 2021 www.qaru.top All Rights Reserved. Q&A House все права защищены


Licensed under cc by-sa 3.0 with attribution required.