forum.opennet.ru - "Fastsocket - новая высокомасштабируемая реализация сетевой п..." (94)

"Fastsocket - новая высокомасштабируемая реализация сетевой п..."

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
Сообщение от opennews (ok), 22-Окт-14, 22:50
Группа китайских разработчиков высоконагруженных систем открыла наработки проекта Fastsocket (https://github.com/fastos/fastsocket), в рамках которого подготовлена альтернативная реализация сокетов и сетевой подсистемы ядра Linux. В отличие от штатной сетевой подсистемы ядра, Fastsocket обеспечивает практически линейную масштабируемость, что позволяет добиться существенно более высокой производительности на многоядерных компьютерах. Система является стабильной и хорошо зарекомендовала себя в промышленном использовании. В частности, Fastsocket используется для обеспечения работы online-службы SINA (https://ru.wikipedia.org/wiki/Sina_Corp) (17-й по посещаемости сайт в мире). Все наработки проекта поставляются под лицензией GPLv2. Fastsocket бесшовно интергрируется с существующими серверными приложениями - достаточно через LD_PRELOAD загрузить библиотеку libfsocket.so, которая подменит собой традиционные функции работы с сокетами. Например, для использования Fastsocket в nginx достаточно запустить сервер командой "LD_PRELOAD=./libfsocket.so nginx". При этом включение поддержки Fastsocket в ядре сопряжено с некоторыми трудностями - для применения Fastsocket следует использовать специально подготовленную отдельную сборку ядра Linux, вместо штатного ядра из дистрибутива. В настоящее время предлагается вариант ядра 2.6.32-431.17.1.el6 для использования в RHEL/CentOS 6.5. Но игра стоит свеч, на сервере с 24 ядрами CPU рост производительности при выполнении Nginx и Haproxy составляет 290% и 620%, по сравнению с обычным сетевым стеком, предоставляемым ядром из состава CentOS-6.5. Более того, Fastsocket обеспечивает дополнительный прирост производительности при использовании Hyper-Threading и Flow-Director. В частности, активация Hyper-Threading даёт прирост в 20% производительности, а использование сетевой карты на базе контроллера Intel 82599 прибавляет 15% при работе в роли прокси. <center><a href="https://raw.githubusercontent.com/fastos/fastsocket/master/i... src="http://www.opennet.me/opennews/pics_base/0_1414003226.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center> <center><a href="https://raw.githubusercontent.com/fastos/fastsocket/master/i... src="http://www.opennet.me/opennews/pics_base/0_1414003182.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center> URL: https://news.ycombinator.com/item?id=8492867 Новость: http://www.opennet.me/opennews/art.shtml?num=40907
Ответить \| Правка \| Cообщить модератору

Оглавление

Надеюсь, это скоро будет в ванильном ядре , Fracta1L (ok), 22:50 , 22-Окт-14, (1) +22
Я китайский бы выучил только за то, что им разговаривает Группа китайских разра, A.Stahl (ok), 22:56 , 22-Окт-14, (2) +21

А куда ты денешься , Led (ok), 00:50 , 23-Окт-14, (16) +21

А никуда Китайцы на США и прочих работают и поэтому сносно шпрехают на инглише , Аноним (-), 01:19 , 23-Окт-14, (20) +1

Это откуда такая информация Насколько я могу судить по своему опыту общения с ки, twilight (ok), 08:57 , 23-Окт-14, (37) +3

Маньчжурия, мшефд (?), 09:16 , 23-Окт-14, (40) +4
От всевозможных китайских конторок Если они хотят что-то за пределами китая про, Аноним (-), 12:17 , 23-Окт-14, (53) –3

Это те, кто работают с англоговорящими партнерами На дальнем востоке, на китайск, XoRe (ok), 19:25 , 26-Окт-14, (92) –1

Так они при этом и с русскими партнерами на английском шпрехают , Аноним (109), 14:53 , 20-Июн-19, (109)

Дык,английский - и проще учится и толку больше, Crazy Alex (ok), 01:19 , 23-Окт-14, (21)

Гораздо интереснее, насколько оно устойчиво к SYN-флуду, а также к большому коли, Аноним (-), 23:01 , 22-Окт-14, (3)

Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter , Аноним (-), 23:03 , 22-Окт-14, (4) +2

Как можно ддосить сервер для ддоса , pavlinux (ok), 01:15 , 24-Окт-14, (78) +1

Это не сервер для ддоса, а средство информационной войны, Аноним (109), 14:53 , 20-Июн-19, (110)

чотко , kaifu6a (?), 08:37 , 24-Окт-14, (85)

Ох, надеюсь без бэкдоров и зондов, manster (ok), 23:04 , 22-Окт-14, (5) –4

Сырцы есть, проверяй , ононимуз (?), 23:07 , 22-Окт-14, (6) +2

Сколько тебе заплатить, чтобы ты проверил , Аноним (-), 23:19 , 22-Окт-14, (9)

Могу я проверять, за регулярную почасовую оплату, на полную ставку, обещать прав, Аноним (43), 09:57 , 23-Окт-14, (43) +2
Нет столько денег Вернее нет технологий чтоб пересадить ему мозги разработчика , Аноним (-), 10:10 , 23-Окт-14, (46) +1
прим 250000 за O x n анализ Более сложные методы после первого этапа по дого, pavlinux (ok), 01:19 , 24-Окт-14, (79)

code LD_PRELOAD libfsocket so nginx code Здравствуйте Я китайский бэк, Аноним (-), 01:45 , 23-Окт-14, (26) –1

Это конечно иронизирую Кстати могу ошибаться, но LD_PRELOAD будет проблемно испо, manster (ok), 02:27 , 23-Окт-14, (27) –6

Расскажите мне - в чем у меня проблемы на x86_64 А то я их не заметил Скорее, Аноним (-), 12:27 , 23-Окт-14, (55) +1

Попробуйте запустить примеры из статьи в x86_64 http fluxius handgrep se 2011 , manster (ok), 15:34 , 27-Окт-14, (94) –1

Я попробовал свой код Пашет Мало ли откуда у того автора примеров руки , Аноним (-), 03:38 , 29-Окт-14, (96)

Там ничего опасного нет в принципе Я тоже его пробовал в качестве примера работ, manster (ok), 20:45 , 30-Окт-14, (98) –1

mk , u789op (?), 08:41 , 02-Ноя-14, (100)

, manster (ok), 16:50 , 02-Ноя-14, (101) –1

хрен его знает на Plan9 похоже, билдит что-то там но зачем он этим на форуме х, arisu (ok), 02:45 , 03-Ноя-14, (102)

LD_PRELOAD актуально для p9 , manster (ok), 11:33 , 03-Ноя-14, (103) –1

mk актуально , arisu (ok), 11:39 , 03-Ноя-14, (104)
mk не приходилось использовать, manster (ok), 23:24 , 03-Ноя-14, (105)
если вдруг у тебя в проектах где-то есть make, и это не автокраповский выхлоп , arisu (ok), 05:17 , 04-Ноя-14, (106)
make вполне устраиваетrc в моем дистро - это утилита для запуска сервисов, а так, manster (ok), 11:12 , 04-Ноя-14, (107)
а я откуда знаю , arisu (ok), 12:00 , 04-Ноя-14, (108)

а возможность запускать программы 8212 вообще мегадырка , arisu (ok), 13:57 , 23-Окт-14, (62) +4

Особенно под рутом , Alan Cox (?), 15:33 , 30-Окт-14, (97)

сначала ждем пока что-то появится, потом пока это проверят, потом пока обкатают,, Аноним (-), 22:24 , 23-Окт-14, (69) +2

Ура, я наконец понял в чём на самом деле была проблема высоконагруженных систем , Аноним (-), 23:08 , 22-Окт-14, (7) –6

Не, бд и ссл действительно тормоза Для бд рулит кастомная группировка данных, ко, manster (ok), 00:01 , 23-Окт-14, (14)
Ты не понял Упомянутое становится проблемой, когда все предыдущие вещи уже разр, Аноним (-), 01:20 , 23-Окт-14, (22) +4
В большинстве случаев это решается правильной организацией кэширования Да, подча, rob pike (?), 07:34 , 23-Окт-14, (30) –1

Кеширование это моветон Им можно решить только задачи с преимущественным чтнени, Аноним (-), 08:52 , 23-Окт-14, (36) –2

Весьма неожиданная точка зрения, надо признать Вас не затруднит привести пару-т, rob pike (?), 09:40 , 23-Окт-14, (42)
Какое выравнивание checkbox от кнопки like сопоставим по объёму с выгрузкой с, Аноним (43), 10:01 , 23-Окт-14, (44) +1

Или использованием каких-нибудь NoSQL баз и простых схем данных Они быстрые как, Аноним (-), 12:34 , 23-Окт-14, (56)

Какие образные у вас сравнения Намекаете на то что MongoDB медленней PostgreSQL, rob pike (?), 13:50 , 23-Окт-14, (61) –1

Не стоит правильность обеспечивать кэшированием Смотри глубже - ленивая, отло, manster (ok), 12:52 , 23-Окт-14, (58) –1

шардинг, manster (ok), 12:53 , 23-Окт-14, (59) –1

Rob - подумай такую мысль это для CDN-щиков и сделано Как вариант Оне же то, Аноним (-), 21:18 , 23-Окт-14, (67)

Так прямым же текстом написано - кем сделано и для кого SINA, для себя и своих , rob pike (?), 23:57 , 23-Окт-14, (73)

потому что они такие и есть, например 8212 не из альтруизма же работают а во, arisu (ok), 01:14 , 24-Окт-14, (76)

Кто-то заставляет им платить и пользоваться их услугами Городите себе на коленке, rob pike (?), 03:52 , 24-Окт-14, (82)

каким образом это отменяет то, что я написал и каким образом оно вообще связано, arisu (ok), 14:54 , 24-Окт-14, (90)

А Линус воотбще эмулятор терминала писал, а оно вона как вывернуло Хотелось бы, Аноним (-), 03:40 , 24-Окт-14, (80)

Тогда первым делом ядро надо с пути убрать DPDK, pf_ring, еще несколько менее по, rob pike (?), 03:50 , 24-Окт-14, (81)

А почему с ядром 2 6 сравнивают , knike (?), 23:47 , 22-Окт-14, (13) –1

чтобы 620 прироста показать , Кир (?), 00:28 , 23-Окт-14, (15) +11
как-то так получилось, что сетевой стек на последующих версиях ядра, оказался то, temujeen (ok), 00:55 , 23-Окт-14, (17) –1

а по картинкам этого не видно, екуыыыыы (?), 01:02 , 23-Окт-14, (18)
Это не совсем так, были регрессии, но они правились , Аноном (?), 08:44 , 23-Окт-14, (34)

В ядре rhel centos 6 от 2 6 осталась только совместимость, очень многое полезное, Аноним (-), 01:14 , 23-Окт-14, (19)

Нет, Led (ok), 01:22 , 23-Окт-14, (24)

Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским , Crazy Alex (ok), 01:21 , 23-Окт-14, (23)

Т е с 3 10 из RHEL7 , Led (ok), 01:24 , 23-Окт-14, (25)

Это станет стандартом еще через пару лет Никто в здравом уме не мигрирует, если, Crazy Alex (ok), 03:12 , 23-Окт-14, (28)

нудк HPC-же а там у китайцев наряду с LFS, Калькой, Центос - самое популярное с , Аноним (-), 07:55 , 23-Окт-14, (32)

солидный прирост я знал что в родном стэке полно барахла на скотче и соплях, д, Аноним (-), 07:51 , 23-Окт-14, (31)

Полное представление о том НАСКОЛЬКО даёт DPDK, например - когда сотни тысяч con, rob pike (?), 00:00 , 24-Окт-14, (74)

потрясно на этом всем еще и фреймворк сетевой забабахать пошустрее ковбоя на э, Аноним (-), 04:54 , 24-Окт-14, (83) –1

А нижние графики-то --- похоже, фальшивка таких _в мелких деталях_ самоподобных, anonymous (??), 08:47 , 23-Окт-14, (35)
Из описания в Википедии Sina Corp 8212 китайская интернет-компания Является, DmA (??), 09:00 , 23-Окт-14, (38)

масонов еще не было, а китайцы - были однако , Аноним (-), 09:10 , 23-Окт-14, (39) +2

Вот мы их и раскусили , Аноним (-), 12:36 , 23-Окт-14, (57)

ато все масоны - скрытые киитайцы искусно прячущие фирменный искосый взгляд, под, Аноним (-), 04:55 , 24-Окт-14, (84)

Китайцы довольно агрессивно пытаются пропихнуть свои дырки в другие страны, как , Аноним (-), 10:46 , 23-Окт-14, (47) –1
теперь ждем соизмеримые наработки наших ученых, а то все чего то там выбирают вы, Аноним (-), 11:26 , 23-Окт-14, (50) +1

у российских чиновников от науки на уме только распил бюджетных денег, DmA (??), 13:30 , 23-Окт-14, (60) –1

это был сарказм про физиков и слаку , Аноним (-), 20:18 , 23-Окт-14, (64)

Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества , Аноним не тот (?), 21:36 , 23-Окт-14, (68)

а что им следует делать расскажи, пожалуйста, очень интересно , arisu (ok), 01:15 , 24-Окт-14, (77)
все лучше чем латать убожество, сделаное до них руко- cenzored ами более продукт, Аноним (-), 12:01 , 24-Окт-14, (88)

А вот как раз скоро конференция будет, сходите, много интересного увидите http , rob pike (?), 00:03 , 24-Окт-14, (75)

Хы, это как же его до китайцев писали Видать, Телса мало Алана по рукам била , YetAnotherOnanym (ok), 16:28 , 23-Окт-14, (63)
трэш жестокий на первый взгляд int __netif_receive_skb struct sk_buff skb 33, me (??), 22:56 , 23-Окт-14, (70)

gt оверквотинг удален Сделаем рядом вторую, будет 2 потока, а так же небольшое, Аноним не тот (?), 23:24 , 23-Окт-14, (71)
gt оверквотинг удален Здесь нет никакой драйвер специфики __netif_receive_skb, metallica (ok), 23:45 , 23-Окт-14, (72) +1

сетевых драйверах при реализиции метода механизма napi polling struct napi_stru, me (??), 10:08 , 24-Окт-14, (87)

нудк костыльная реализация Китайцами была забацана для внутреннего, in-house п, Аноним (-), 11:51 , 25-Окт-14, (91)

Ох уж эти китайцы Не могут без костылей , anonymous (??), 14:23 , 24-Окт-14, (89)
Т е сейчас у них есть патч только для ядра 2 6 32 которому скоро будет 5 лет , XoRe (ok), 19:39 , 26-Окт-14, (93) –1

в 3 14 улучшения относительно 2 6 3х в районе десятков процентов трех примерно, Аноним (-), 16:42 , 27-Окт-14, (95) –1

Я говорю про приведенные графики http www opennet ru opennews pics_base 0_1414, XoRe (ok), 12:20 , 31-Окт-14, (99)

Сообщения [Сортировка по времени | RSS]

1. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +22 +/–

Сообщение от Fracta1L (ok), 22-Окт-14, 22:50

Надеюсь, это скоро будет в ванильном ядре.

Ответить | Правка | Наверх | Cообщить модератору

2. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +21 +/–

Сообщение от A.Stahl (ok), 22-Окт-14, 22:56

>Группа китайских разработчиков...GPLv2
Я китайский бы выучил только за то, что им разговаривает "Группа китайских разработчиков..."
Вру на самом деле. Не буду я учить китайский. Я просто хотел сказать -- молодцы.

Ответить | Правка | Наверх | Cообщить модератору

16. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +21 +/–

Сообщение от Led (ok), 23-Окт-14, 00:50

> Не буду я учить китайский.
А куда ты денешься?

Ответить | Правка | Наверх | Cообщить модератору

20. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +1 +/–

Сообщение от Аноним (-), 23-Окт-14, 01:19

А никуда. Китайцы на США и прочих работают и поэтому сносно шпрехают на инглише.

Ответить | Правка | Наверх | Cообщить модератору

37. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +3 +/–

Сообщение от twilight (ok), 23-Окт-14, 08:57

Это откуда такая информация?
Насколько я могу судить по своему опыту общения с китайцами - к английскому у них довольно прохладное отношение.
Даже приезжающие в Рф студенты не торопятся учить англ., а уровень подготовки большинства из них даже ниже, чем у выпускников России.
В приграничных районах (манджурия) - китайцы более сносно говорят на русском, чем на английском.
Так что на счет "сносно шпрехают" - боооольшой вопрос, они в плане интеграции самодостаточны.

Ответить | Правка | Наверх | Cообщить модератору

40. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +4 +/–

Сообщение от мшефд (?), 23-Окт-14, 09:16

Маньчжурия

Ответить | Правка | Наверх | Cообщить модератору

53. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –3 +/–

Сообщение от Аноним (-), 23-Окт-14, 12:17

> Это откуда такая информация?
От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать - они неизбежно шпрехают на инглише.
> Так что на счет "сносно шпрехают" - боооольшой вопрос,
Сравни английскую версию хоть того же алиэкспресса и русскую. Особенно перевод описаний товаров. Говорит само за себя.
А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

92. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от XoRe (ok), 26-Окт-14, 19:25

>> Это откуда такая информация?
> От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать
> - они неизбежно шпрехают на инглише.
Это те, кто работают с англоговорящими партнерами.
На дальнем востоке, на китайских рынках сидят китайцы, которые сносно говорят по русски (правда, не все).
> А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.
Как будто вас сейчас сильно цепляют глобальные процессы.

Ответить | Правка | Наверх | Cообщить модератору

109. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (109), 20-Июн-19, 14:53

>Это те, кто работают с англоговорящими партнерами.
Так они при этом и с русскими партнерами на английском шпрехают.

Ответить | Правка | Наверх | Cообщить модератору

21. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Crazy Alex (ok), 23-Окт-14, 01:19

Дык,английский - и проще учится и толку больше

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

3. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 22-Окт-14, 23:01

Гораздо интереснее, насколько оно устойчиво к SYN-флуду, а также к большому количеству полузакрытых соединений.

Ответить | Правка | Наверх | Cообщить модератору

4. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +2 +/–

Сообщение от Аноним (-), 22-Окт-14, 23:03

Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.

Ответить | Правка | Наверх | Cообщить модератору

78. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +1 +/–

Сообщение от pavlinux (ok), 24-Окт-14, 01:15

> DDoS-ят не меньше, чем Twitter.
Как можно ддосить сервер для ддоса?

Ответить | Правка | Наверх | Cообщить модератору

110. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (109), 20-Июн-19, 14:53

Это не сервер для ддоса, а средство информационной войны

Ответить | Правка | Наверх | Cообщить модератору

85. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от kaifu6a (?), 24-Окт-14, 08:37

> Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.
чотко!!!

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

5. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –4 +/–

Сообщение от manster (ok), 22-Окт-14, 23:04

Ох, надеюсь без бэкдоров и зондов

Ответить | Правка | Наверх | Cообщить модератору

6. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +2 +/–

Сообщение от ононимуз (?), 22-Окт-14, 23:07

> Ох, надеюсь без бэкдоров и зондов
Сырцы есть, проверяй.

Ответить | Правка | Наверх | Cообщить модератору

9. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 22-Окт-14, 23:19

Сколько тебе заплатить, чтобы ты проверил?

Ответить | Правка | Наверх | Cообщить модератору

43. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +2 +/–

Сообщение от Аноним (43), 23-Окт-14, 09:57

Могу я проверять, за регулярную почасовую оплату, на полную ставку, обещать правда могу только то что буду честно работать, и изучать вопрос...

Ответить | Правка | Наверх | Cообщить модератору

46. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +1 +/–

Сообщение от Аноним (-), 23-Окт-14, 10:10

Нет столько денег. Вернее нет технологий чтоб пересадить ему мозги разработчика сабжа.

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

79. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от pavlinux (ok), 24-Окт-14, 01:19

> Сколько тебе заплатить, чтобы ты проверил?
прим. 250000$ за O(x^n) анализ.
Более сложные методы после первого этапа по договорённости.
Иль опять, чиста попистить?

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

26. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от Аноним (-), 23-Окт-14, 01:45

> Ох, надеюсь без бэкдоров и зондов
...
"LD_PRELOAD=./libfsocket.so nginx".

Здравствуйте. Я китайский бэкдор. В силу плохого уровня развития IT в нашей стране мы умеем только копипастить, поэтому пожалуйста сами пропишите наш руткит в автозагрузку вашим программам и пришлите ссылку вашим друзьям.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

27. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –6 +/–

Сообщение от manster (ok), 23-Окт-14, 02:27

Это конечно иронизирую.
Кстати могу ошибаться, но LD_PRELOAD будет проблемно использовать в x86_64 без плясок.
Вообще да, LD_PRELOAD это еще та дырища.

Ответить | Правка | Наверх | Cообщить модератору

55. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +1 +/–

Сообщение от Аноним (-), 23-Окт-14, 12:27

> LD_PRELOAD будет проблемно использовать в x86_64 без плясок.
Расскажите мне - в чем у меня проблемы на x86_64? А то я их не заметил :).
> Вообще да, LD_PRELOAD это еще та дырища.
Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами и просто взломщиками, нежели как какое-то продакшновое решение.

Ответить | Правка | Наверх | Cообщить модератору

94. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от manster (ok), 27-Окт-14, 15:34

>> LD_PRELOAD будет проблемно использовать в x86_64 без плясок.
> Расскажите мне - в чем у меня проблемы на x86_64? А то
> я их не заметил :).
>> Вообще да, LD_PRELOAD это еще та дырища.
> Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами
> и просто взломщиками, нежели как какое-то продакшновое решение.
Попробуйте запустить примеры из статьи в x86_64:
http://fluxius.handgrep.se/2011/10/31/the-magic-of-ld_preloa.../

Ответить | Правка | Наверх | Cообщить модератору

96. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 29-Окт-14, 03:38

Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров руки...

Ответить | Правка | Наверх | Cообщить модератору

98. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от manster (ok), 30-Окт-14, 20:45

> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
> руки...
Там ничего опасного нет в принципе. Я тоже его пробовал в качестве примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот пример не удалось заставить работать. Несмотря что код пример красив и остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)

Ответить | Правка | Наверх | Cообщить модератору

100. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от u789op (?), 02-Ноя-14, 08:41

>> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
>> руки...
> Там ничего опасного нет в принципе. Я тоже его пробовал в качестве
> примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот
> пример не удалось заставить работать. Несмотря что код пример красив и
> остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на
> примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)
mk.;

Ответить | Правка | Наверх | Cообщить модератору

101. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от manster (ok), 02-Ноя-14, 16:50

>>> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
>>> руки...
>> Там ничего опасного нет в принципе. Я тоже его пробовал в качестве
>> примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот
>> пример не удалось заставить работать. Несмотря что код пример красив и
>> остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на
>> примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)
> mk.;
?

Ответить | Правка | Наверх | Cообщить модератору

102. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от arisu (ok), 03-Ноя-14, 02:45

>> mk.;
> ?
хрен его знает. на Plan9 похоже, билдит что-то там. но зачем он этим на форуме хвастается — не ясно. да и не Plan9, пробелы не поставлены.

Ответить | Правка | Наверх | Cообщить модератору

103. "Fastsocket - новая высокомасштабируемая реализация..." –1 +/–

Сообщение от manster (ok), 03-Ноя-14, 11:33

>>> mk.;
>> ?
> хрен его знает. на Plan9 похоже, билдит что-то там. но зачем он
> этим на форуме хвастается — не ясно. да и не Plan9,
> пробелы не поставлены.
LD_PRELOAD актуально для p9 ???

Ответить | Правка | Наверх | Cообщить модератору

104. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от arisu (ok), 03-Ноя-14, 11:39

> LD_PRELOAD актуально для p9 ???
mk актуально.

Ответить | Правка | Наверх | Cообщить модератору

105. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от manster (ok), 03-Ноя-14, 23:24

>> LD_PRELOAD актуально для p9 ???
> mk актуально.
mk не приходилось использовать

Ответить | Правка | Наверх | Cообщить модератору

106. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от arisu (ok), 04-Ноя-14, 05:17

>>> LD_PRELOAD актуально для p9 ???
>> mk актуально.
> mk не приходилось использовать
если вдруг у тебя в проектах где-то есть make, и это не автокраповский выхлоп — попробуй. может понравиться. и rc в качестве шелла попробуй, тоже может понравиться.

Ответить | Правка | К родителю #105 | Наверх | Cообщить модератору

107. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от manster (ok), 04-Ноя-14, 11:12

>>>> LD_PRELOAD актуально для p9 ???
>>> mk актуально.
>> mk не приходилось использовать
> если вдруг у тебя в проектах где-то есть make, и это не
> автокраповский выхлоп — попробуй. может понравиться. и rc в качестве шелла
> попробуй, тоже может понравиться.
make вполне устраивает
rc в моем дистро - это утилита для запуска сервисов, а так стандартно: bash
Какое отношение эти программы имеют к LD_PRELOAD ?

Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

108. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от arisu (ok), 04-Ноя-14, 12:00

> Какое отношение эти программы имеют к LD_PRELOAD ?
а я откуда знаю?

Ответить | Правка | К родителю #107 | Наверх | Cообщить модератору

62. "Fastsocket - новая высокомасштабируемая реализация..." +4 +/–

Сообщение от arisu (ok), 23-Окт-14, 13:57

> Вообще да, LD_PRELOAD это еще та дырища.
а возможность запускать программы — вообще мегадырка.

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

97. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от Alan Cox (?), 30-Окт-14, 15:33

Особенно под рутом)

Ответить | Правка | Наверх | Cообщить модератору

69. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +2 +/–

Сообщение от Аноним (-), 23-Окт-14, 22:24

сначала ждем пока что-то появится, потом пока это проверят, потом пока обкатают, еще чуть-чуть ждём откровений сбежавших агентов или подозрительных некрологов, на закате технологии начинаем нерешительно пробовать.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

7. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –6 +/–

Сообщение от Аноним (-), 22-Окт-14, 23:08

Ура, я наконец понял в чём на самом деле была проблема высоконагруженных систем. А то по глупости всё грешил на базы данных, тормоза динамических языков программирования и шифрование SSL.

Ответить | Правка | Наверх | Cообщить модератору

14. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от manster (ok), 23-Окт-14, 00:01

Не, бд и ссл действительно тормоза.
Для бд рулит кастомная группировка данных, когда одним запросом подгружается всё связанное

Ответить | Правка | Наверх | Cообщить модератору

22. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +4 +/–

Сообщение от Аноним (-), 23-Окт-14, 01:20

> А то по глупости всё грешил на базы данных, тормоза
> динамических языков программирования и шифрование SSL.
Ты не понял. Упомянутое становится проблемой, когда все предыдущие вещи уже разрулили :).

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

30. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от rob pike (?), 23-Окт-14, 07:34

> всё грешил на базы данных,
В большинстве случаев это решается правильной организацией кэширования.
Да, подчас очень непростой, но таки решается.
> тормоза динамических языков программирования
Динамический язык динамическому языку рознь. LuaJIT, например, тормозами не страдает.
Кстати, ngx_lua и базирующийся на нём OpenResty - тоже китайского происхождения.
> и шифрование SSL.
Которое, во-первых, можно использовать только для авторизации, после чего возвращаться к http, во-вторых, большую часть оверхеда можно переложить на CDN, пользуясь тем что основной оверхед приходится на handshake.

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

36. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –2 +/–

Сообщение от Аноним (-), 23-Окт-14, 08:52

Кеширование это моветон. Им можно решить только задачи с преимущественным чтнением данных. А щас интерктив везде, чтение запись выравниваются

Ответить | Правка | Наверх | Cообщить модератору

42. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от rob pike (?), 23-Окт-14, 09:40

> Кеширование это моветон.
Весьма неожиданная точка зрения, надо признать.
> Им можно решить только задачи с преимущественным чтнением данных.
> А щас интерктив везде, чтение запись выравниваются
Вас не затруднит привести пару-тройку примеров из современного веб?
А также пояснить в чем принципиальное затруднение в решении этой проблемы Write-back кэшированием.

Ответить | Правка | Наверх | Cообщить модератору

44. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +1 +/–

Сообщение от Аноним (43), 23-Окт-14, 10:01

> Кеширование это моветон. Им можно решить только задачи с преимущественным чтнением данных.
> А щас интерктив везде, чтение запись выравниваются
Какое выравнивание? checkbox от кнопки "like" сопоставим по объёму с выгрузкой статьи?
Просто представьте что вы на посещаемых сайтах пишете примерно столько-же слов сколько читаете.

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

56. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 23-Окт-14, 12:34

> В большинстве случаев это решается правильной организацией кэширования.
Или использованием каких-нибудь NoSQL баз и простых схем данных. Они быстрые как понос при правильном подходе.
> Динамический язык динамическому языку рознь. LuaJIT, например, тормозами не страдает.
Если уж на то пошло, грузить бэкэнд выполнением скриптов на каждого юзера - тоже моветон: nginx может кэшировать все в статику и отдавать как просто статичные файлы. А при отдаче статики и кэшированного контента уже все может упереться в упомянутые эффекты.
> большую часть оверхеда можно переложить на CDN,
CDN вообще-то желают бабла за свои услуги. И видимо остаются в наваре от этой деятельности, что прозрачно намекает что самому хостить несколько выгоднее, особенно при больших масштабах. Было бы это не так - ну не работали бы CDN себе же в убыток?!

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

61. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от rob pike (?), 23-Окт-14, 13:50

> NoSQL баз и простых схем данных.
> Они быстрые как понос при правильном подходе.
Какие образные у вас сравнения. Намекаете на то что MongoDB медленней PostgreSQL? Мы в курсе.
> Если уж на то пошло, грузить бэкэнд выполнением скриптов на каждого юзера - тоже моветон
Действительно, давайте каждого юзера называть просто Васей, они всё равно одинаковые практически, юзеры эти.
> CDN вообще-то желают бабла за свои услуги
Ужас какой, действительно. Все остальные-то компоненты высоконагруженных систем обычно совершенно ничего не стоят.

Ответить | Правка | Наверх | Cообщить модератору

58. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от manster (ok), 23-Окт-14, 12:52

Не стоит "правильность" обеспечивать кэшированием. Смотри глубже - ленивая, отложенная загрузка и еще кое-что (сходно с тяжелой графикой)

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

59. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от manster (ok), 23-Окт-14, 12:53

шардинг

Ответить | Правка | Наверх | Cообщить модератору

67. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 23-Окт-14, 21:18

>большую часть оверхеда можно переложить на CDN
Rob - подумай такую мысль: это для CDN-щиков и сделано :) Как вариант. Оне же тоже люди и им тоже хочеЦЦо накладные придавить вниз. Ы?

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

73. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от rob pike (?), 23-Окт-14, 23:57

Так прямым же текстом написано - кем сделано и для кого. SINA, для себя и своих сервисов.
А полезно будет всем, на то и СПО.
А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к кровавым капиталистам-эксплуататорам, с чего б?

Ответить | Правка | Наверх | Cообщить модератору

76. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от arisu (ok), 24-Окт-14, 01:14

> А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к
> кровавым капиталистам-эксплуататорам, с чего б?
потому что они такие и есть, например — не из альтруизма же работают? а во-вторых, и просто дебилы.

Ответить | Правка | Наверх | Cообщить модератору

82. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от rob pike (?), 24-Окт-14, 03:52

> потому что они такие и есть, например — не из альтруизма же
> работают?
Кто-то заставляет им платить и пользоваться их услугами?
Городите себе на коленке своё, никто не мешает.
Только ваш же Энгельс бенефиты разделения труда еще век назад подробно разобрал.

Ответить | Правка | Наверх | Cообщить модератору

90. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от arisu (ok), 24-Окт-14, 14:54

> Кто-то заставляет им платить и пользоваться их услугами?
> Городите себе на коленке своё, никто не мешает.
> Только ваш же Энгельс бенефиты разделения труда еще век назад подробно разобрал.
каким образом это отменяет то, что я написал? и каким образом оно вообще связано одно с другим?

Ответить | Правка | Наверх | Cообщить модератору

80. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 24-Окт-14, 03:40

>Так прямым же текстом написано - кем сделано и для кого. SINA, для себя и своих сервисов.
А Линус воотбще эмулятор терминала писал, а оно вона как вывернуло :)
>А полезно будет всем, на то и СПО.
Хотелось бы верить. Скорей всего - да. Вспомни какой был восторг когда научили стэк все ОБА проца пользовать :) Потом начало расти. Это просто этап убора шершавостей на количестве ядер больше N :)
>А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к кровавым капиталистам-эксплуататорам, с чего б?
А я - знаю? Я вот сам себе CDN лепил дык вылезло как раз вот это. Баз то нету, скриптов - нету, а всё что есть - на сторидже, в статике и надо это слить в сокеты(Ы) макс быстро и с мин. задержкой. Ну и смотри бенефиты топика :)

Ответить | Правка | К родителю #73 | Наверх | Cообщить модератору

81. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от rob pike (?), 24-Окт-14, 03:50

> Баз то нету, скриптов - нету, а всё что есть - на сторидже, в статике и надо это слить в сокеты(Ы) макс быстро и с мин. задержкой
Тогда первым делом ядро надо с пути убрать.
DPDK, pf_ring, еще несколько менее популярных вариантов.

Ответить | Правка | Наверх | Cообщить модератору

13. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от knike (?), 22-Окт-14, 23:47

А почему с ядром 2.6 сравнивают?

Ответить | Правка | Наверх | Cообщить модератору

15. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +11 +/–

Сообщение от Кир (?), 23-Окт-14, 00:28

чтобы 620% прироста показать.

Ответить | Правка | Наверх | Cообщить модератору

17. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от temujeen (ok), 23-Окт-14, 00:55

как-то так получилось, что сетевой стек на последующих версиях ядра, оказался тормознее... этот вопрос уж не одну сотню раз всплывал на различных форумах.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

18. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от екуыыыыы (?), 23-Окт-14, 01:02

а по картинкам этого не видно

Ответить | Правка | Наверх | Cообщить модератору

34. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноном (?), 23-Окт-14, 08:44

Это не совсем так, были регрессии, но они правились.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

19. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 23-Окт-14, 01:14

В ядре rhel/centos 6 от 2.6 осталась только совместимость, очень многое полезное из 3.х туда бекпортировано.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

24. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Led (ok), 23-Окт-14, 01:22

> В ядре rhel/centos 6 от 2.6 осталась только совместимость,
Нет

Ответить | Правка | Наверх | Cообщить модератору

23. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Crazy Alex (ok), 23-Окт-14, 01:21

Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

25. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Led (ok), 23-Окт-14, 01:24

> Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским.
Т.е. с 3.10 из RHEL7 ?

Ответить | Правка | Наверх | Cообщить модератору

28. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Crazy Alex (ok), 23-Окт-14, 03:12

Это станет стандартом еще через пару лет. Никто в здравом уме не мигрирует, если этого можно не делать. А у редхата можно не мигрировать очень долго.

Ответить | Правка | Наверх | Cообщить модератору

32. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 23-Окт-14, 07:55

нудк HPC-же.
а там у китайцев наряду с LFS, Калькой, Центос - самое популярное с производными.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

31. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 23-Окт-14, 07:51

солидный прирост.
я знал что в "родном" стэке полно барахла на скотче и соплях, держащегося, но не думал что НАСТОЛЬКО много.

Ответить | Правка | Наверх | Cообщить модератору

74. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от rob pike (?), 24-Окт-14, 00:00

Полное представление о том НАСКОЛЬКО даёт DPDK, например - когда сотни тысяч conn/s превращаются вдруг в полтора десятка миллионов, на том же железе.

Ответить | Правка | Наверх | Cообщить модератору

83. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от Аноним (-), 24-Окт-14, 04:54

потрясно. на этом всем еще и фреймворк сетевой забабахать.
пошустрее ковбоя  на эрлан чтонить высокомасштабируемое.

Ответить | Правка | Наверх | Cообщить модератору

35. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от anonymous (??), 23-Окт-14, 08:47

А нижние графики-то --- похоже, фальшивка: таких _в мелких деталях_ самоподобных кривых _за сутки_ хрен получишь.

Ответить | Правка | Наверх | Cообщить модератору

38. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от DmA (??), 23-Окт-14, 09:00

Из описания в Википедии "Sina Corp — китайская интернет-компания. Является сетью общения между китайскими диаспорами по всему миру. Имеет четыре направления деятельности: Sina Weibo, Sina Mobile, Sina Online, и Sina.net. Объединяет более 100 миллионов пользователей по всему миру"
Какая-то массоновская секта!

Ответить | Правка | Наверх | Cообщить модератору

39. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +2 +/–

Сообщение от Аноним (-), 23-Окт-14, 09:10

масонов еще не было, а китайцы - были.
однако.

Ответить | Правка | Наверх | Cообщить модератору

57. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 23-Окт-14, 12:36

> масонов еще не было, а китайцы - были.
Вот мы их и раскусили :).

Ответить | Правка | Наверх | Cообщить модератору

84. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 24-Окт-14, 04:55

>> масонов еще не было, а китайцы - были.
> Вот мы их и раскусили :).
ато!
все масоны - скрытые киитайцы.
искусно прячущие фирменный искосый взгляд, под полой плащей(голову туда засунув, аки лебедь).

Ответить | Правка | Наверх | Cообщить модератору

47. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от Аноним (-), 23-Окт-14, 10:46

Китайцы довольно агрессивно пытаются пропихнуть свои дырки в другие страны, как я погляжу. Офис кривой, теперь вот это...

Ответить | Правка | Наверх | Cообщить модератору

50. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +1 +/–

Сообщение от Аноним (-), 23-Окт-14, 11:26

теперь ждем соизмеримые наработки наших ученых, а то все чего то там выбирают выбирают, видать ни как не могут выбрать =D

Ответить | Правка | Наверх | Cообщить модератору

60. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от DmA (??), 23-Окт-14, 13:30

у российских чиновников от науки на уме только распил  бюджетных денег

Ответить | Правка | Наверх | Cообщить модератору

64. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 23-Окт-14, 20:18

это был сарказм про физиков и слаку ...

Ответить | Правка | Наверх | Cообщить модератору

68. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним не тот (?), 23-Окт-14, 21:36

> теперь ждем соизмеримые наработки наших ученых, а то все чего то там
> выбирают выбирают, видать ни как не могут выбрать =D
Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества...

Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

77. "Fastsocket - новая высокомасштабируемая реализация..." +/–

Сообщение от arisu (ok), 24-Окт-14, 01:15

> Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества...
а что им следует делать? расскажи, пожалуйста, очень интересно.

Ответить | Правка | Наверх | Cообщить модератору

88. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 24-Окт-14, 12:01

все лучше чем латать убожество, сделаное до них руко-[cenzored]ами.
более продуктивно.
и куда более ресурсоемко, чем вагон апликухи им пытаться наваять, поручать.

Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

75. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от rob pike (?), 24-Окт-14, 00:03

А вот как раз скоро конференция будет, сходите, много интересного увидите.
http://sdiconf.com/rus/

Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

63. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от YetAnotherOnanym (ok), 23-Окт-14, 16:28

Хы, это как же его до китайцев писали? Видать, Телса мало Алана по рукам била.

Ответить | Правка | Наверх | Cообщить модератору

70. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от me (??), 23-Окт-14, 22:56

трэш жестокий на первый взгляд:
int __netif_receive_skb(struct sk_buff *skb)
...
3382
null_or_bond = NULL;
if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
(vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
null_or_bond = vlan_dev_real_dev(skb->dev);
}
не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди медленно проходят в двери? снесем двери нах!

Ответить | Правка | Наверх | Cообщить модератору

71. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним не тот (?), 23-Окт-14, 23:24

>[оверквотинг удален]
> int __netif_receive_skb(struct sk_buff *skb)
> ...
> 3382
> null_or_bond = NULL;
> if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
> (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
> null_or_bond = vlan_dev_real_dev(skb->dev);
> }
> не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди
> медленно проходят в двери? снесем двери нах!
Сделаем рядом вторую, будет 2 потока, а так же небольшое количество отсеявшихся, тех кто в перегородку между дверьми попал...

Ответить | Правка | Наверх | Cообщить модератору

72. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +1 +/–

Сообщение от metallica (ok), 23-Окт-14, 23:45

>[оверквотинг удален]
> int __netif_receive_skb(struct sk_buff *skb)
> ...
> 3382
> null_or_bond = NULL;
> if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
> (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
> null_or_bond = vlan_dev_real_dev(skb->dev);
> }
> не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди
> медленно проходят в двери? снесем двери нах!
Здесь нет никакой драйвер специфики.
__netif_receive_skb API сетевого стека, например, используется во всех
сетевых драйверах, при реализиции метода механизма napi polling (struct napi_struct { .poll() }),
в которых эта функция вызывается для выполнения обработки стека протоколов в пакете.
vlan_dev_real_dev - относится к API системы реализации vlan-ов, отделена от конкретных
драйверов.

Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

87. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от me (??), 24-Окт-14, 10:08

> __netif_receive_skb API сетевого стека, например, используется во всех
сетевых драйверах при реализиции метода механизма napi polling (struct napi_struct { .poll() }),
....
  да она как-бы вообще при обработке любого skb используется, очень "полезная" функция! :-D
вот только ..._skb_core им чем-то не понравилась, выпилил они ее. Ну что, художники, так
они мир видят.
> Здесь нет никакой драйвер специфики.
правда, правда? а bonding здесь что делает?
поищи по ключевым словам master/slave/bond, весьма доставляет! bond теперь часть core.
специфики vlan девайсов i.e. IFF_802_1Q_VLAN там, кстати, в дев  никогда не было.
О! и протокольные - там-же. netif_direct_tcp там-же в dev.с, как тебе?
не, нынешний netdev team тоже такие вещи иногда творит от безысходности, но ну что
куда деть tcp офлоад? но эти парни похоже решили, что безысходность - это и есть
наш путь. :)

Ответить | Правка | Наверх | Cообщить модератору

91. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от Аноним (-), 25-Окт-14, 11:51

нудк "костыльная реализация" Китайцами была забацана для внутреннего, in-house применения. если народу понравится как работает и бенефиты - напишут более пряморукую реализацию сабжа.
было бы желание.
а при таком профите/бустре от - только у совсем ленивых ИТ-шников оно не появится.

Ответить | Правка | Наверх | Cообщить модератору

89. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от anonymous (??), 24-Окт-14, 14:23

>следует использовать специально подготовленную отдельную сборку
Ох уж эти китайцы! Не могут без костылей.

Ответить | Правка | Наверх | Cообщить модератору

93. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от XoRe (ok), 26-Окт-14, 19:39

Т.е. сейчас у них есть патч только для ядра 2.6.32 (которому скоро будет 5 лет).
И надо выбирать - или ставить старое патченное, или ждать патча для нового ядра.
Судя по графикам, я могу сделать и другой вывод.
Для приемлемого быстродействия достаточно просто обновиться до 3.13.
И отпадет огромный объем работы.

Ответить | Правка | Наверх | Cообщить модератору

95. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." –1 +/–

Сообщение от Аноним (-), 27-Окт-14, 16:42

в 3.14 улучшения относительно 2.6.3х ~ в районе десятков процентов(трех примерно) а тут речь о нескольких СОТНЯХ разницы, причем чем толще(в ядрах и ТЧ)система, тем Выпуклее бенефиты от.
мораль: лучше совместить профит ОБОИХ подходов. портировать на новое ядро и радоваться жизни.

Ответить | Правка | Наверх | Cообщить модератору

99. "Fastsocket - новая высокомасштабируемая реализация сетевой п..." +/–

Сообщение от XoRe (ok), 31-Окт-14, 12:20

> в 3.14 улучшения относительно 2.6.3х ~ в районе десятков процентов(трех примерно) а
> тут речь о нескольких СОТНЯХ разницы, причем чем толще(в ядрах и
> ТЧ)система, тем Выпуклее бенефиты от.
> мораль: лучше совместить профит ОБОИХ подходов. портировать на новое ядро и радоваться
> жизни.
Я говорю про приведенные графики:
http://www.opennet.me/opennews/pics_base/0_1414003226.png

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+22 +/–
Сообщение от Fracta1L (ok), 22-Окт-14, 22:50
Надеюсь, это скоро будет в ванильном ядре.
Ответить \| Правка \| Наверх \| Cообщить модератору

2. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+21 +/–
Сообщение от A.Stahl (ok), 22-Окт-14, 22:56
>Группа китайских разработчиков...GPLv2 Я китайский бы выучил только за то, что им разговаривает "Группа китайских разработчиков..." Вру на самом деле. Не буду я учить китайский. Я просто хотел сказать -- молодцы.
Ответить \| Правка \| Наверх \| Cообщить модератору


	16. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+21 +/–
	Сообщение от Led (ok), 23-Окт-14, 00:50
	> Не буду я учить китайский. А куда ты денешься?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	20. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+1 +/–
	Сообщение от Аноним (-), 23-Окт-14, 01:19
	А никуда. Китайцы на США и прочих работают и поэтому сносно шпрехают на инглише.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	37. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+3 +/–
	Сообщение от twilight (ok), 23-Окт-14, 08:57
	Это откуда такая информация? Насколько я могу судить по своему опыту общения с китайцами - к английскому у них довольно прохладное отношение. Даже приезжающие в Рф студенты не торопятся учить англ., а уровень подготовки большинства из них даже ниже, чем у выпускников России. В приграничных районах (манджурия) - китайцы более сносно говорят на русском, чем на английском. Так что на счет "сносно шпрехают" - боооольшой вопрос, они в плане интеграции самодостаточны.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	40. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+4 +/–
	Сообщение от мшефд (?), 23-Окт-14, 09:16
	Маньчжурия
	Ответить \| Правка \| Наверх \| Cообщить модератору


	53. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	–3 +/–
	Сообщение от Аноним (-), 23-Окт-14, 12:17
	> Это откуда такая информация? От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать - они неизбежно шпрехают на инглише. > Так что на счет "сносно шпрехают" - боооольшой вопрос, Сравни английскую версию хоть того же алиэкспресса и русскую. Особенно перевод описаний товаров. Говорит само за себя. А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.
	Ответить \| Правка \| К родителю #37 \| Наверх \| Cообщить модератору


	92. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	–1 +/–
	Сообщение от XoRe (ok), 26-Окт-14, 19:25
	>> Это откуда такая информация? > От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать > - они неизбежно шпрехают на инглише. Это те, кто работают с англоговорящими партнерами. На дальнем востоке, на китайских рынках сидят китайцы, которые сносно говорят по русски (правда, не все). > А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить. Как будто вас сейчас сильно цепляют глобальные процессы.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	109. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
	Сообщение от Аноним (109), 20-Июн-19, 14:53
	>Это те, кто работают с англоговорящими партнерами. Так они при этом и с русскими партнерами на английском шпрехают.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	21. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
	Сообщение от Crazy Alex (ok), 23-Окт-14, 01:19
	Дык,английский - и проще учится и толку больше
	Ответить \| Правка \| К родителю #16 \| Наверх \| Cообщить модератору

3. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
Сообщение от Аноним (-), 22-Окт-14, 23:01
Гораздо интереснее, насколько оно устойчиво к SYN-флуду, а также к большому количеству полузакрытых соединений.
Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+2 +/–
	Сообщение от Аноним (-), 22-Окт-14, 23:03
	Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	78. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+1 +/–
	Сообщение от pavlinux (ok), 24-Окт-14, 01:15
	> DDoS-ят не меньше, чем Twitter. Как можно ддосить сервер для ддоса?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	110. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
	Сообщение от Аноним (109), 20-Июн-19, 14:53
	Это не сервер для ддоса, а средство информационной войны
	Ответить \| Правка \| Наверх \| Cообщить модератору


	85. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
	Сообщение от kaifu6a (?), 24-Окт-14, 08:37
	> Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter. чотко!!!
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору

5. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	–4 +/–
Сообщение от manster (ok), 22-Окт-14, 23:04
Ох, надеюсь без бэкдоров и зондов
Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+2 +/–
	Сообщение от ононимуз (?), 22-Окт-14, 23:07
	> Ох, надеюсь без бэкдоров и зондов Сырцы есть, проверяй.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
	Сообщение от Аноним (-), 22-Окт-14, 23:19
	Сколько тебе заплатить, чтобы ты проверил?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	43. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+2 +/–
	Сообщение от Аноним (43), 23-Окт-14, 09:57
	Могу я проверять, за регулярную почасовую оплату, на полную ставку, обещать правда могу только то что буду честно работать, и изучать вопрос...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	46. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+1 +/–
	Сообщение от Аноним (-), 23-Окт-14, 10:10
	Нет столько денег. Вернее нет технологий чтоб пересадить ему мозги разработчика сабжа.
	Ответить \| Правка \| К родителю #9 \| Наверх \| Cообщить модератору


	79. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
	Сообщение от pavlinux (ok), 24-Окт-14, 01:19
	> Сколько тебе заплатить, чтобы ты проверил? прим. 250000$ за O(x^n) анализ. Более сложные методы после первого этапа по договорённости. Иль опять, чиста попистить?
	Ответить \| Правка \| К родителю #9 \| Наверх \| Cообщить модератору


	26. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	–1 +/–
	Сообщение от Аноним (-), 23-Окт-14, 01:45
	> Ох, надеюсь без бэкдоров и зондов ... "LD_PRELOAD=./libfsocket.so nginx". Здравствуйте. Я китайский бэкдор. В силу плохого уровня развития IT в нашей стране мы умеем только копипастить, поэтому пожалуйста сами пропишите наш руткит в автозагрузку вашим программам и пришлите ссылку вашим друзьям.
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	27. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	–6 +/–
	Сообщение от manster (ok), 23-Окт-14, 02:27
	Это конечно иронизирую. Кстати могу ошибаться, но LD_PRELOAD будет проблемно использовать в x86_64 без плясок. Вообще да, LD_PRELOAD это еще та дырища.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	55. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+1 +/–
	Сообщение от Аноним (-), 23-Окт-14, 12:27
	> LD_PRELOAD будет проблемно использовать в x86_64 без плясок. Расскажите мне - в чем у меня проблемы на x86_64? А то я их не заметил :). > Вообще да, LD_PRELOAD это еще та дырища. Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами и просто взломщиками, нежели как какое-то продакшновое решение.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	94. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	–1 +/–
	Сообщение от manster (ok), 27-Окт-14, 15:34
	>> LD_PRELOAD будет проблемно использовать в x86_64 без плясок. > Расскажите мне - в чем у меня проблемы на x86_64? А то > я их не заметил :). >> Вообще да, LD_PRELOAD это еще та дырища. > Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами > и просто взломщиками, нежели как какое-то продакшновое решение. Попробуйте запустить примеры из статьи в x86_64: http://fluxius.handgrep.se/2011/10/31/the-magic-of-ld_preloa.../
	Ответить \| Правка \| Наверх \| Cообщить модератору


	96. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
	Сообщение от Аноним (-), 29-Окт-14, 03:38
	Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров руки...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	98. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	–1 +/–
	Сообщение от manster (ok), 30-Окт-14, 20:45
	> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров > руки... Там ничего опасного нет в принципе. Я тоже его пробовал в качестве примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот пример не удалось заставить работать. Несмотря что код пример красив и остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	100. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	+/–
	Сообщение от u789op (?), 02-Ноя-14, 08:41
	>> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров >> руки... > Там ничего опасного нет в принципе. Я тоже его пробовал в качестве > примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот > пример не удалось заставить работать. Несмотря что код пример красив и > остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на > примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD) mk.;
	Ответить \| Правка \| Наверх \| Cообщить модератору


	101. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."	–1 +/–
	Сообщение от manster (ok), 02-Ноя-14, 16:50
	>>> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров >>> руки... >> Там ничего опасного нет в принципе. Я тоже его пробовал в качестве >> примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот >> пример не удалось заставить работать. Несмотря что код пример красив и >> остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на >> примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD) > mk.; ?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	102. "Fastsocket - новая высокомасштабируемая реализация..."	+/–
	Сообщение от arisu (ok), 03-Ноя-14, 02:45
	>> mk.; > ? хрен его знает. на Plan9 похоже, билдит что-то там. но зачем он этим на форуме хвастается — не ясно. да и не Plan9, пробелы не поставлены.
	Ответить \| Правка \| Наверх \| Cообщить модератору