Очистка джоб в EMR/Hadoop в Unix/Linux

Amazon EMR – ведущая в отрасли облачная платформа больших данных для обработки огромных объемов информации с использованием инструментов с открытым исходным кодом, таких как Apache Spark, Apache Hive, Apache HBase, Apache Flink, Apache Hudi и Presto. EMR позволяет анализировать данные в масштабе петабайтов более чем в два раза дешевле, чем традиционные локальные решения, и более чем в 3 раза быстрее, чем при стандартном использовании Apache Spark. Для коротких заданий можно развертывать и отключать кластеры, оплачивая использованные инстансы на посекундной основе.

Для начала, смотрим какие аппликейшены запущены в EMR:

$ yarn application -list

Из полученного списка, берем ИД джобы и прибиваем ее:

$ yarn application -kill <jobid>

Убиваем все джобы:

$ yarn_app_list=$(yarn application -list 2>1 | awk '{if ($7 =="UNDEFINED" && $6 == "ACCEPTED") print $1; }') && \
yarn application -kill $(echo "$yarn_app_list"| xargs -I{} -n1 echo {})

Вот и все, статья «Очистка джоб в EMR/Hadoop в Unix/Linux» завершена.

This entry was posted in Без рубрики. Bookmark the permalink.

Добавить комментарий

Ваш адрес email не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.