852 ответов в теме

[Naimas Alvares]

Ну так ты на вопросы прямо не отвечаешь

 

Ну, во-первых, у меня и обязанности такой нет. Во-вторых, нормального вопроса я еще не видел, только общие какие-то хотелки услышать истории успеха.

[Sputnik]

Хуже. Именно потому, что я сначала на баше сделал а потом на питуне. Исравнил

 

И как? Расскажи кул стори

Ну, во-первых, у меня и обязанности такой нет. Во-вторых, нормального вопроса я еще не видел, только общие какие-то хотелки услышать истории успеха.

 

Конечно нет, упаси бог. Удивлен, что ты видишь, что-то плохое в том, чтобы поделиться опытом, ну то есть вот мнением своим ты готов делиться, а опытом нет. В теме операционной системы с идеологией открытого обмена знаниями и опытом, хыхы

[Karmael]

зачем, такой врывной малый нам жи на за пять минут наколбаст распапалель на баше и покажет. заодно мож сам поймет в чем прикол.

ведь покажет, покажет ?

ну и что за мода тиранить финансистов открытостью, не джентельмен штоле?

[Sputnik]

зачем, такой врывной малый нам жи на за пять минут наколбаст распапалель на баше и покажет. заодно мож сам поймет в чем прикол.

ведь покажет, покажет ?

 

а ты чего стесняешься?

[Tir]

зачем, такой врывной малый нам жи на за пять минут наколбаст распапалель на баше и покажет. заодно мож сам поймет в чем прикол.


ведь покажет, покажет ?

Ну вощет без знания специфики задачи тут можно было бы сказать, что и xargs -P хватит. Но раз там пришлось суммонить питон, наверно там какая-то специфика была, что xargs -P не хватало. Почему и просят тебя рассказать подробнее, что да как, почему на баше эту задачу решать было неайда, а на питоне - огого.

ну и что за мода тиранить финансистов открытостью, не джентельмен штоле?

Хитрый план жы. Узнать секретные стратегии успешного вставания в позу успеха

Сообщение отредактировал Tir: 13 October 2016 - 11:53

[Sputnik]

Ну вощет без знания специфики задачи тут можно было бы сказать, что и xargs -P хватит. Но раз там пришлось суммонить питон, наверно там какая-то специфика была, что xargs -P не хватало. Почему и просят тебя рассказать подробнее, что да как, почему на баше эту задачу решать было неайда, а на питоне - огого.
 

 

Будет забавно если он юзал какой нибудь гнушный паралель в питоновском цикле просто, было бы интересно если при этом питоновский цикл работал бы быстрее.

Хитрый план жы. Узнать секретные стратегии успешного вставания в позу успеха

 

Все так

[Karmael]

а ты чего стесняешься?

#!/usr/bin/python
 
 
import sys
import os
import subprocess
import logger
from multiprocessing import Pool
 
global workpool
 
 
def _set_logger():
    pass
 
 
def _get_file_pool(workpath):
    workpool = []
    for root, dirs, files in os.walk(workpath):
        for f in files:
            workpool.append(os.path.join(root, f))
    return workpool
 
 
def _do_somthing(filename):
    tmpfile = tempfile.mktemp()
    Popen = subprocess.Popen
    s = Popen([
            'cat',
            '{0}',
            '>',
            tempfile,
        ], stdout=subprocess.PIPE,
                  stderr=subprocess.PIPE,
                  preexec_fn=setUser('hdfs', 'hadoop')).format(filename)
    stdout, stderr = s.communicate()
    if stdout:
        _LOGGER.info(stdout)
    if stderr:
        _LOGGER.error(stderr)
    if s.returncode != 0:
        _LOGGER.error('process under file {0} fail.'.format())
    print 'File {0} successfully added to georepo'.format(filename)
 
if __name__ == "__main__":
    inputdir = '/where/we/go/today'
    _set_logger()
    workfiles = _get_file_pool(input_dir, '.L2.tif')
 
    run_container = Pool()
    run_container.map(_do_somthing, workfiles)
    run_container.close()
    run_container.join()
 

Давай на баше, я жду

Сообщение отредактировал Karmael: 13 October 2016 - 12:27

[r0n1]

зачем, такой врывной малый нам жи на за пять минут наколбаст распапалель на баше и покажет. заодно мож сам поймет в чем прикол.

 смотря как сильно надо, а так для на баше есть же xargs

[Tir]

Давай на баше, я жду

Дык тыж грил, ты на баше то же самое уже делал. Чоб не залить рядом для наглядной демонстрации, что в данном случае питон > баш?

[Karmael]

да я посмотреть хочу, почему все мне отказывают?

Дык тыж грил, ты на баше то же самое уже делал. Чоб не залить рядом для наглядной демонстрации, что в данном случае питон > баш?

 

не не, я хочу посмотреть , ну правда.

просто на баше у меня это все заняло далеко не пять минут,  а время то идет, а гениального башкода все еще нет

и как я себе это понимаю, что в отведенное время и не будет. а будет на выхлопе вопиющее уродство без малейших зайчатков реюза, читаемости и понимания сторонним человеком. у меня по крайней мере именно это и получилось

[Tir]

да я посмотреть хочу, почему все мне отказывают?


 
не не, я хочу посмотреть , ну правда.

Дык я тоже посмотреть хочу. А ты не показываешь. И не говоришь, можно ли жить в питоне, а не только скриптовать.

[Karmael]

ну вот у нас есть апологет который говорит что на баше лучше, давай узнаем у него? я говрю что на питуне, и привел пример, на баше получилось стыдное уродство.

и я очень сомневаюсь что у кого то получится что то другое

ну и не, я не живу в пинутском шеле, и как бы не особо вижу как это вообще до конца возможно. По этому наверное в ряде специфических случаев можно позволить себе экспрессию, но в целом для работы странно. 

[Sputnik]

ну вот у нас есть апологет который говорит что на баше лучше, давай узнаем у него? я говрю что на питуне, и привел пример, на баше получилось стыдное уродство.

и я очень сомневаюсь что у кого то получится что то другое

 

А мне надо прям все переписать или прост запустить что-то паралельно в баше будет достаточно? Можно обсудить только паралельный запуск ради Аллаха прошу!

[Karmael]

паралельная обработка множества файлов сойдет любая.

паралельные запуски - для девочек оставим

[Sputnik]

паралельная обработка множества файлов сойдет любая.

паралельные запуски - для девочек оставим

 

Так сойдет?

 

for i in `seq 10`; do sem -j2 echo "jopapolnaya" >> superlog; done

[Karmael]

а где входные файлики ?

давай, уже напиши семафоры на баше, блин я ради этого тут с тобой только припенаюсь

хотя можешь дальше кривляться,  только не понятно зачем?

[koraven]

fabric!

послушай, я правда не понимаю как и о чем разговаривать с людьми на эту тему, не способными собрать самостоятельно rpmку. зачем с ними разговаривать о развертывании ?

Вообще-то они не только для развертывания, но ладно, пишешь скрипты на питуне, кто ж тебе мешать будет.

Кстати. Гитом может тоже пользоваться не будешь, он ведь не "штатное средство ОС"?

[Karmael]

отчего же, он входит в стостав любого дистрибутива, и находится непосредственно прям на носителе,  откуда его модно развернуть везде, даже там где нет инторнета! 

[Sputnik]

а где входные файлики ?

давай, уже напиши семафоры на баше, блин я ради этого тут с тобой только припенаюсь

хотя можешь дальше кривляться,  только не понятно зачем?

 

man sem

[Karmael]

pro61:[~]: man sem

Нет справочной страницы для sem

 

dnf provides sem

Последняя проверка окончания срока действия метаданных: 0:32:44 назад, Thu Oct 13 12:13:41 2016.

Ошибка: Совпадений не найдено