Страница 1 из 9
линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 1:20 am
kyk
Задача установить Python 3.7 (именно 3.7) c поддержкой GPU+cuda на Dell c нуля. Сейчас там только Win-10.
Дело осложняется тем, что версия 3.7 настолько состарилась, что её везде убрали и команда
её уже не находит.
Команды
Код: Выделить всё
!sudo apt install -y software-properties-common
!sudo add-apt-repository -y ppa:deadsnakes/ppa
!sudo apt-get update
!sudo apt install -y python3.7
тоже уже не помогают.
В интернете я нагуглил следущее:
Код: Выделить всё
!sudo apt install -y build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev tk-dev libffi-dev wget
!wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
!sudo ./configure --enable-optimizations --with-ensurepip=install
!sudo make -j $(nproc)
!sudo make altinstall
Потом буду устанавливать следущее:
Код: Выделить всё
spacy
scispacy
tensorflow
tensorflow_hub
torch
transformers
scikit_learn
sentence_transformers
amrlib==0.7.0
boto3==1.9.118
bert-extractive-summarizer
joblib
keybert
numpy
pandas
pdftotext
Pillow==9.1.1
PyMuPDF
pdfminer3k
requests
scholarly
sentencepiece
setuptools
https://s3-us-west-2.amazonaws.com/ai2-s2-scispacy/releases/v0.5.0/en_core_sci_scibert-0.5.0.tar.gz
https://s3-us-west-2.amazonaws.com/ai2-s2-scispacy/releases/v0.5.0/en_core_sci_lg-0.5.0.tar.gz
tabula
tabula_py
unicodedata2
Как с наименьшими страданиями всё это установить с нуля?
С линуксом и юниксом знаком слабо, по наслышке.
Питон тоже с грехом пополам, учил-учил, но не выучил, старый уже.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 3:21 am
Bobeg
Низнаю. Надо билдать фром соурс видимо.
Ин азер вордз - придеца стродать!
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 3:33 am
kyk
Bobeg писал(а): ↑Сб окт 14, 2023 3:21 amИн азер вордз - придеца стродать!
https://github.com/tensorflow/tensorflo ... 1050117324
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 4:23 am
Bobeg
ebonat? Lol
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 4:29 am
Uzito
А почему именно 3.7?
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 5:37 am
Женя Стоунер
Это что за энвайронмент - дев, прод? Виртуальная машина?
Моя команда для дев использует asdf, чтобы питоны в разных версиях сосуществовали. Зависимости устанавливаются через requirements.txt. Конфигурация проектов изолирована один от другого venv.
Сам я к этому не прикасаюсь, и на дополнительные вопросы вряд ли отвечу.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 6:12 am
Mad Hatter
Kyk, I feel your pain
Приходится эту чёртову змеюку под Windows гонять. Без 3.7 никак? Устарело ведь.
Я не так давно ставил именно Anaconda 3.9 с поддержкой CUDA на Dell (Windows). Геморройно, но работало.
Там кстати закончилась поддержка бинарников под Windows CUDA ML. Следующие версии только под Linux.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 6:23 am
Mad Hatter
kyk писал(а): ↑Сб окт 14, 2023 1:20 am
Как с наименьшими страданиями всё это установить с нуля?
С линуксом и юниксом знаком слабо, по наслышке.
Питон тоже с грехом пополам, учил-учил, но не выучил, старый уже.
Ну вроде научный мир в Data Science очень хорошо знаком с Linux. Тем более с Питоном,хотя R очень популярен.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 7:31 am
Bobeg
Так это ты себе ставишь, да еще и на виндозе?
Попробуй посмотри на анаконде. Анакода она такая, помогает конфигурировпть под виндозе всякие питоны.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 7:53 am
Mad Hatter
Под Windows только Анаконду, иначе ничего работать не будет. Проблема с дипенденси.
Мне то как раз советовать не надо, я её ставил под Винду много раз, в разных позах
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 8:35 am
elpresidente*
1. Установите Win 11, у Dell скорее всего будет бесплатный Win 10 -> Win 11 upgrade
2. Сконфигурируйте
WSL2 с Ubuntu 22.04
3. NVIDIA
CUDA WSL2 drivers или
тут
4. venv
5. Ставьте любую версию Python, 3.7 100% есть на
deadsnakes
Код: Выделить всё
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt update
sudo apt install python3.7
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 8:42 am
Mad Hatter
всё же мне интересно, зачем 3.7?
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 8:43 am
Mad Hatter
эх.... счастливый человек
на рабочем лептопе я не могу использовать WSL2 вообще из-за дурацких политик
Отсюда и "богатый опыт" устновки Anaconda+CUDA под "чистый Windows"
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 8:44 am
elpresidente*
Mad Hatter писал(а): ↑Сб окт 14, 2023 8:42 am
всё же мне интересно, зачем 3.7?
Видимо старая библиотека? Которая скорее всего не будет работать с CUDA...
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 8:53 am
Mad Hatter
elpresidente* писал(а): ↑Сб окт 14, 2023 8:44 am
Mad Hatter писал(а): ↑Сб окт 14, 2023 8:42 am
всё же мне интересно, зачем 3.7?
Видимо старая библиотека? Которая скорее всего не будет работать с CUDA...
Возможно....
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 1:11 pm
kyk
elpresidente* писал(а): ↑Сб окт 14, 2023 8:35 am
5. Ставьте любую версию Python, 3.7 100% есть на
deadsnakes
Код: Выделить всё
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt update
sudo apt install python3.7
К сожалению, Python, 3.7 совсем недавно у брали с Deadsnakes
Поэтому только хардкор
Код: Выделить всё
!sudo apt install -y build-essential libssl-dev zlib1g-dev libncurses5-dev libncursesw5-dev libreadline-dev libsqlite3-dev libgdbm-dev libdb5.3-dev libbz2-dev libexpat1-dev liblzma-dev tk-dev libffi-dev wget
!wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
!sudo ./configure --enable-optimizations --with-ensurepip=install
!sudo make -j $(nproc)
!sudo make altinstall
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 1:21 pm
kyk
elpresidente* писал(а): ↑Сб окт 14, 2023 8:35 am
1. Установите Win 11, у Dell скорее всего будет бесплатный Win 10 -> Win 11 upgrade
а можно ли обойтись без Win 11 upgrade, (хотя бы и бесплатного)?
будет ли это работать с Win-10 WSL2+Ubuntu 22.04 out-of-the box?
будет ли это работать с Win-10 WSL2+Ubuntu 22.04 out-of-the box?
вместо venv, я использую
Код: Выделить всё
pip install virtualenv
cd /working
virtualenv myvenv -p $(which python3.7)
source /working/myvenv/bin/activate
Я в курсе, что 'venv' может то самое, но мне важно использовать именно 'virtualenv' для совместимости с будущим удалённым HPC кластером, в котором свои библиотеки и можно пользовать только $pip install и $virtualenv
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 1:23 pm
Uzito
kyk писал(а): ↑Сб окт 14, 2023 1:21 pm
elpresidente* писал(а): ↑Сб окт 14, 2023 8:35 am
1. Установите Win 11, у Dell скорее всего будет бесплатный Win 10 -> Win 11 upgrade
а можно ли обойтись без Win 11 upgrade, (хотя бы и бесплатного)?
WSL2 ставится на Win10 без проблем.
Я ваще, если придёт конец десятой винде, раньше переметнусь на линукс чем поставлю 11.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 1:28 pm
elpresidente*
Про Win 10 и WSL2 ничего не знаю, очень давно было.
В те времена мы делали Hyper-V и ставили на него Ubunty 20.04 GUI
https://github.com/brokeDude2901/dxgkrnl_ubuntu
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Сб окт 14, 2023 1:30 pm
elpresidente*
kyk писал(а): ↑Сб окт 14, 2023 1:21 pm
будет ли это работать с Win-10 WSL2+Ubuntu 22.04 out-of-the box?
Нет, без cuda драйверов GPU акселерация работать не будет.