Форум Привет

Mad Hatter писал(а): ↑Чт авг 15, 2024 9:51 am Интересно!
Это как раз подтверждает гипотезу что LLM заменить человека не может, но может ускорить работу.

На данный момент скорее разочарование тем что ChatGPT не осилил тот-же обьем данных что и Gemini и тем что Gemini не смог сгенерировать достаточно тривиальный код. Подозреваю что для ChatGPT есть другое решение для таких обьемов данных.

elpresidente* писал(а): ↑Чт авг 15, 2024 10:27 am

Mad Hatter писал(а): ↑Чт авг 15, 2024 9:51 am Интересно!
Это как раз подтверждает гипотезу что LLM заменить человека не может, но может ускорить работу.

На данный момент скорее разочарование тем что ChatGPT не осилил тот-же обьем данных что и Gemini и тем что Gemini не смог сгенерировать достаточно тривиальный код. Подозреваю что для ChatGPT есть другое решение для таких обьемов данных.

И где ж оно? Кстати kyk указывал на важное обстоятельство, что размер ответа везде ограничен.

Mad Hatter писал(а): ↑Чт авг 15, 2024 10:27 am

alex_127 писал(а): ↑Чт авг 15, 2024 10:05 am

не совсем так - позволяет справится с работой менее квалифицированному и менее дорогому персоналу. до рассказов что более дорогой чувак будет работать быстрее дочитывать никто не будет.

Есть и другие моменты: более дорогой чувак может улучшить (а то и вовсе изменить) контекст ответа, что может в итоге выливаться в $$$

Хочу заметить что при создании тех. документации особой креативности не требуется. Требуется максимально простое и лаконичное описание, примеры использования и код для разных языков тоже должны быть упрощены но без потери функционала.

Mad Hatter писал(а): ↑Чт авг 15, 2024 10:28 am

elpresidente* писал(а): ↑Чт авг 15, 2024 10:27 am
На данный момент скорее разочарование тем что ChatGPT не осилил тот-же обьем данных что и Gemini и тем что Gemini не смог сгенерировать достаточно тривиальный код. Подозреваю что для ChatGPT есть другое решение для таких обьемов данных.

И где ж оно? Кстати kyk указывал на важное обстоятельство, что размер ответа везде ограничен.

GPT-4o имеет контекст в 128K, более чем достаточно для нашей задачи если решать ее по частям, те разбить загружаемый код и примеры на Х частей и попытаться генерировать. Такая попытка была сделана но как оказалось часть функционала пересекается и при генерации документации необходимо иметь полный контекст (но не всегда). Ну и сам GPT-4o до сих пор артачится и часто октазывается генерировать большой текст. В итоге имеем более качественную на небольших обьемах модель GPT-4o и Gemini которая не имеет проблем с размером контекста и выдает полный текст но явно худшего качества.

elpresidente* писал(а): ↑Чт авг 15, 2024 10:39 am В итоге имеем более качественную на небольших обьемах модель GPT-4o и Gemini которая не имеет проблем с размером контекста и выдает полный текст но явно худшего качества.

перенёс свой пост в другой раздел viewtopic.php?p=733803#p733803

Что делать, что делать - свою LLM модель гонять

kyk писал(а): ↑Пт авг 16, 2024 5:57 am

elpresidente* писал(а): ↑Чт авг 15, 2024 10:39 am В итоге имеем более качественную на небольших обьемах модель GPT-4o и Gemini которая не имеет проблем с размером контекста и выдает полный текст но явно худшего качества.

по состоянию на месяц назад, limit на размер ответа у Gemini почти такой же как и у GPT-4.

На входе context у Gemini огромный, можно 500 страниц загрузить, но вот выход-то при этом совсем небольшой.

Для многоходового чата with multiple iterations и long history важен размер входного контекста.

А вот если надо сделать большой выходной документ, то требуется сделать several iterations, т.е. several GPT model calls.

Я уже не раз указывал что при каждом таком GPT model call, сама -то модель "не знает" что она участвует в герации кусочков одного большого выходной документа. Т.е. программер как бы должен сам чесать репу как это хорошо сделать.

Если весь большой ответ можно разбить на независимые куски и каждый такой выходной кусок умещается в
limit на размер ответа одного GPT model call, то тогда это достаточно легко.

А вот в противном случае, если нужен большой и когерентный выход на 50-100 страниц, то задача вовсе не тривиальная, в том числе и потому что заранее неизвестно как будет себя вести GPT model в такой ситуации.

Понятно, что и в этом случае надо разбиватьт выход на куски, но не понятно как это куски когерентно сшивать в один
Ключевое слово - когерентно - в смысле всего большого выходного документа.
Народ, если увидите что-то на это тему - дайте знать.

Че-то не понял, что мешает уже сгенерированные куски добавлять в контекст и объяснять что выход должен быть продолжением вот этого?

А работает ли оно как надо при таком подходе?

kyk писал(а): ↑Пт авг 16, 2024 5:57 am На входе context у Gemini огромный, можно 500 страниц загрузить, но вот выход-то при этом совсем небольшой.

Max output tokens: 8,192
https://cloud.google.com/vertex-ai/gene ... ni-1.5-pro
8К более чем достаточно для наших целей.
При генерации все вопросы-ответы добавлялись обратно в конекст поэтому модель знала что уже было сгенерировано и что требуется делать дальше, собственно на этом сайте чат с историей именно так и работает.
Кроме этого был задан очень подробный prompt где описывалось что и как делать с детальной разбивкой по шагам и частям (generate help for Feature A ...Feature N) и далее происходила генерация по принципу generate help for Feature A....generate help for Feature N и тд. Достаточно стандартный подход. Результаты сохранялись в файлы feature{x}.md, код для примеров генерился отдельным промптом после генерации каждой feature, вставлялся в указанное место в feature{x}.md и отдельно в папку ./code-samples-feature-{x}

Хочу заметить что правильно составленный prompt это примерно 70% успеха, что не удивительно. Еще 20% это насколько хорошо написаны скрипты (мы использовали API) и сама финальная сборка, в идеале ничего руками делать не надо. 10% это чисто "удача", тк прогон одного и того-же процесса дает заметный разброс по качеству результата имеет смысл сделать как минимум 3-5 финальных прогона и выбрать лучшее.

Даже с тем что есть вполне очевидно что в очень скором будущем подобные задачи будут практически полностью автоматизированны. Это однако совсем не значит что те кто пишут тех. документацию останутся без работы.

Mad Hatter писал(а): ↑Пт авг 16, 2024 8:49 am А работает ли оно как надо при таком подходе?

Замечательно работает, до тех пор пока не достигнут лимит input context. Ну и естественно от качества самой модели зависит.

elpresidente* писал(а): ↑Пт авг 16, 2024 8:53 am Замечательно работает, до тех пор пока не достигнут лимит input context. Ну и естественно от качества самой модели зависит.

Перенес cвой пост в другой раздел:
viewtopic.php?p=733803#p733803

kyk писал(а): ↑Пт авг 16, 2024 5:30 pm Сумел я мысль донести? Не уронил по дороге?

Sergunka писал(а): ↑Пт авг 16, 2024 9:47 pm

kyk писал(а): ↑Пт авг 16, 2024 5:30 pm Сумел я мысль донести? Не уронил по дороге?

я в совецкой школе был бесплатным тьютором по русскому языку и натаскивал товарищей вроде тебя, которые ленились включать мозги

alex_127 писал(а): ↑Пт авг 16, 2024 8:18 am Че-то не понял, что мешает уже сгенерированные куски добавлять в контекст и объяснять что выход должен быть продолжением вот этого?

Перенес cвой пост в другой раздел:
viewtopic.php?p=733803#p733803

kyk писал(а): ↑Сб авг 17, 2024 1:25 am я в совецкой школе был бесплатным тьютором по русскому языку и натаскивал товарищей вроде тебя, которые ленились включать мозги

Вот тут было обидно (с) И что тебе дала грамматика русского языка?! Надо было туторить математике. Математика это язык Богов

Sergunka писал(а): ↑Сб авг 17, 2024 10:14 am Вот тут было обидно (с) И что тебе дала грамматика русского языка?! Надо было туторить математике. Математика это язык Богов

Когда-то, ещё во времена, когда над нейросетями все смеялись, приходилось работать над NLP софтом, которому скармливались правила разбора русскоязычных фраз, там знания грамматики, как ни странно, пригодились.

Mad Hatter писал(а): ↑Ср авг 14, 2024 3:54 am

Toha писал(а): ↑Вт авг 13, 2024 5:11 pm Но также все успешно врут.

Врать не надо, а немного приукрашивать. На техническом интервью вранье видно сразу. На последнем у меня спрашивали вопросы хоть и не особо софистикейтед по ассемблеру, но на которые невозможно ответить без практического опыта (нет, не QA )

Дальше вы там привели специфику и скажу так. Любое интервью можно просто хакнуть. Особенно когда раскусить практика / не практика может только другой практик. Но и то бывает усыпляют бдительность, попадается подряд несколько кандидатов просто мычащих непонятно что на тех интервью, а затем раз и один что то более менее внятно говорит. И там уже зависит от роли, например вы говорите про специфику, о которой чотко сможет рассказать сениор. А если нам подойдет мидл?
Ну и зависит куда нанимать. В сша в айти полно фирм, которым айти нужен в маркетинг, банки и еще куча где и там не обязательно спрашивают в глубину. Вот даже в фаанг гоняют по алгоритмам, затем систем дизайн только с сениор уровня и дальше главное хорошо подготовиться к behavioral.

А так насчет приукрасить и врать.

Сейчас в сша рынок превратился в такое нехорошее что то. Куча аппликантов и куча советов именно врать. Нет разрешения на работу? Пишите, что есть, потом когда пройдёт интервью, если будет офер, скажите об этом.
Пишите все навыки так, как в вакансии. Иначе не пройдёте ATS. Который вообще не понятно где. Но в итоге получаешь совершенно одинаковые резюме с кучей buzzwords и если начнешь опрашивать, то понимаешь. Что возможно даже не кандидат их туда добавлял. А например рекрутер рекрутингового агентства обработал.

врут даже по самим местам работы. Со всего мира.

Мне например врать в резюме и не надо. Но на том конце не всегда способны адекватно отбирать. Поэтому основная масса работает на то, кто круче и приукрасит и соврет.

Toha писал(а): ↑Пн авг 19, 2024 5:16 am А так насчет приукрасить и врать.

А потом background check который вранье выявляет.
Кстати, рассказывали недавно такой случай: кандидат написал что у него есть университетский диплом. Background check сказал что нет (и правда нет). Значит disqualified. При том что позиция не требовала диплома и человек интервью успешно прошел. Вот такой вот выстрел в ногу.

Я правда не знаю как они проверяют российское образование. Я вот пишу что у меня MSc, что истинная правда, даже на английском есть. Но как это проверить, особенно сейчас, ума не приложу.

Но в целом соглашусь что это - большая проблема. Я когда подаюсь, при том что мой экспириенс аутстендинг, часто нет ответа вообще, что удивляет.

Mad Hatter писал(а): ↑Пн авг 19, 2024 5:46 am при том что мой экспириенс аутстендинг, часто нет ответа вообще, что удивляет.

ну значит или им никто не нужен или с таким как твой аутстендинг экспириенс резюмей много. Мораль: твой экспириенс недостаточно аутстендинг