Перейти к содержимому














Фотография
Обсуждение

Поддерживаете новый раздел форума? Big Data.



  • Авторизуйтесь для ответа в теме
Сообщений в теме: 13

Опрос: Big data (58 пользователей проголосовало)

Готовы ли вы поддержать раздел?

Вы не можете видеть результаты проса пока не проголосуете.
Голосовать Гости не могут голосовать

#1 akir

akir
  • Модератор
  • Сообщений: 1 328
  • Регистрация: 04.05.2014
  • Заработано: 104 руб.
Репутация: 755

Награды: 27

  
  
  
  
  
  
  
  

Отправлено 26 Ноябрь 2016 - 17:46

Вчера ко мне обратился  Крысолов  с предложением создания раздела по работе с "Большими данными".

 

В свою очередь, можно будет в новый раздел класть такие тематики, как машинное обучение, нейронные сети, глубинное обучение, эволюционные алгоритмы не говоря уже об вероятностных теориях и математике. 

 

большие данные это примерно такое же по размерам ответвление как и веб-дизайн, а скорее всего в сотню раз больше если рассматривать математику как часть инструментария.

например сюда уже можно отнести визуализацию данных, различные библиотеки и туториалы по ним, собрать все русурсы которые что то разбирают действительно хорошее, собрать курсы  с курсеры и других платформ.

Относительно постов - пожалуй  найдется несколько книг по нейросетям, пара курсов по машинному обучению , несколько книг по библиотекам питона и тому подобному, думаю постов 10-15  возможно оформить уже в близжайшее время, однако, как и говорилось ранее... это не должно быть дело одного человека

 

 

Лично я считаю тему очень интересной. Уверен, что в обозримом будущем эти технологии будут очень востребованы т.к. системы методов сбора статистики стремительно развиваются.

 

Лично я выступаю в поддержку этого начинания. В рунете информация по темам очень разрозненна и ее не много.

 

По поводу хайдов и приватности материалов.

Не верно было бы постить паблик библиотеки питона к примеру под хайдом, но вполне справедливо под хайд скрывать свой обзор, опыт использования, реализации, если очень хочется скрыть...

 

 

Для создания раздела нужно его наполнение. WinRAR предложил перед созданием раздела наполнить форум целевыми материалами т.к. негативный опыт создания пустых разделов уже есть.

 

Если вам хочется изучать и заниматься чем-то действительно значимым, поражающим воображение и дающим возможность создавать высокотехнологичные проекты не имеющие аналогов я призываю поддержать инициативу размещением тематических книг, материалов, с вашими обзорами.

 

От вас требуется указать, сколько постов вы готовы запостить в поддержку данного направления и создания раздела.

 

PS
Учитывайте, что для освоения тематики будет недостаточно посмотреть 10 минутное видео, нужно будет последовательно и упорно осваивать в течении продолжительного времени, в зависимости от изначального уровня подготовки.



#2 Тони

Тони

    Главный модератор

  • Модератор
  • Сообщений: 2 130
  • Регистрация: 18.03.2014
  • Заработано: 162 руб.
Репутация: 889

Награды: 32

  
  
  
  
  
  
  
  

Отправлено 26 Ноябрь 2016 - 18:00

я за 

очень интересна тематика нейросетей

скорее постить ниче не буду - тк не шарю в этом
но читать буду с удовольствием




 



#3 alik0211

alik0211
  • Сливапер LVL 5
  • Сообщений: 219
  • Регистрация: 09.06.2015
  • Заработано: 4 руб.
Репутация: 243

Награды: 16

  
  
  
  
  
  
  
  

Отправлено 26 Ноябрь 2016 - 18:26

Тема, безусловно интересна. Но если она и будет создана, то будет простаивать так же, как и раздел "фокусы".

Лично я из платных и полезных курсов, которые можно сюда слить ни одного не знаю.

 

Годнота есть в открытом доступе:

 

Я за открытие данного раздела, но постить туда просто нечего.



#4 akir

akir
  • Модератор
  • Сообщений: 1 328
  • Регистрация: 04.05.2014
  • Заработано: 104 руб.
Репутация: 755

Награды: 27

  
  
  
  
  
  
  
  

Отправлено 26 Ноябрь 2016 - 18:46

 

Лично я из платных и полезных курсов, которые можно сюда слить ни одного не знаю.

 

 

 

Не обязательно постить только платные т.к. тема специфическая и материалы в открытом доступе не менее полезны.

Я предлагаю постить такие материалы без хайда и со своими описаниями, что будет похоже на логику раздела "Обмен опытом"


Годнота есть в открытом доступе

Готов написать развернутые описания? Что даст материал простому мимо проходящему, привести примеры, в которых он может помочь?



#5 alik0211

alik0211
  • Сливапер LVL 5
  • Сообщений: 219
  • Регистрация: 09.06.2015
  • Заработано: 4 руб.
Репутация: 243

Награды: 16

  
  
  
  
  
  
  
  

Отправлено 26 Ноябрь 2016 - 20:04



Готов написать развернутые описания? Что даст материал простому мимо проходящему, привести примеры, в которых он может помочь?

Если "простой прохожий" решит заняться Big Data, то это будет откровенное извращенство.

Пример использования

Так как я прошел все курсы на СливАпе по пикапу и соблзнению, то теперь от самок нет отбоя.

Ситуацию усложняют усики и носки с сандалями в которых я выношу мусор по команде мамки.

Девушки так и раздают мне свои номера и со временем их скапливается очень много.

База вида:

id_Девушки, номер_телефона, размер_сисек, красота(хотя этот критерий не важен, т.к. у нас все девушки 3.14здаты)

 

Одно дело, когда мы только отрастили пушок и у нас было 100-300 номеров, всю БД можно загрузить в эксель и смотреть средний размер сисек анализировать эти данные.

Но когда мы стали мега-супер-альфа-самцом-гуру, и номеров больше 1млн, то тут эксель нам не поможет.

Простые MySql БД тоже не смогут нам помочь, тут и приходит на помощь Big Data.

 

74H5pLfjlCQ.jpg

К работе с большим количеством данных надо приступать имея приличный опыт работы с обычными БД.

 

Новичку дорога к большим БД закрыта. Все попытки будут провальны. Вы же, придя в зал не пытаетесь сразу поднять 200кг.

 

А человек в "теме" воспользуется гуглом. Смысла открывать данный раздел не вижу.


Сообщение отредактировал alik0211: 26 Ноябрь 2016 - 20:22


#6 Andrey37

Andrey37
  • Platinum
  • Сообщений: 522
  • Регистрация: 17.06.2014
  • Заработано: 27 руб.
Репутация: 219

Награды: 22

  
  
  
  
  
  
  
  

Отправлено 26 Ноябрь 2016 - 22:40

Сразу универ вспомнился, мощная штука.

Препод у нас был, так он примочку к екселю замутил, которая на основе имеющихся данных простраивала таблицу дальше или проставляла(достаточно точно) пропущенные данные. Было это лет 10 назад.

 

На счет создания раздела наверно рановато, может стоит начать с создания темы на форуме и посмотреть на активность форумчан в ней.



#7 Крысолов

Крысолов
  • Platinum
  • Сообщений: 38
  • Регистрация: 02.03.2016
  • Заработано: 1 руб.
Репутация: 0

Награды: 14

  
  
  
  
  
  
  
  

Отправлено 27 Ноябрь 2016 - 09:51

Сама тематика, как говорилось довольно интересна, но нет понимания, откуда нужно начинать кусать ... это как с языками программирования (какой выбрать ? ) , то же самое и тут. Относительно открытой информации не все так однозначно, порой просто ума не хватает задать какой то запрос (особенно на английском), а потом хватаешься за голову и понимаешь что мог бы что то узнать на порядок быстрее и из лучших источников

 

идеально было бы сформировать понимание, как зайти в саму биг дату, с чего начать, какие знания нужно использовать

 

пс.

от голосования воздержался потому как мой голос совершенно очевиден



#8 wertex1987

wertex1987
  • Premium
  • Сообщений: 165
  • Регистрация: 01.09.2014
  • Заработано: 5 руб.
Репутация: 212

Награды: 16

  
  
  
  
  
  
  
  

Отправлено 27 Ноябрь 2016 - 17:07

Найдите хотя бы один free service , предоставлящий вычислительные ресурсы для big data. Без этого в данной теме возможны только теоретические изыскания.



#9 Крысолов

Крысолов
  • Platinum
  • Сообщений: 38
  • Регистрация: 02.03.2016
  • Заработано: 1 руб.
Репутация: 0

Награды: 14

  
  
  
  
  
  
  
  

Отправлено 27 Ноябрь 2016 - 17:46

их полно,  например https://wakari.io/ , онлайн тетрадка с питоном и всеми библиотеками

можно себе на пк установить анаконду, она тоже бесплатна

 

насколько я знаю, в visual studio  есть питон и удобности для анализа данных....есть много вариантов



#10 Andrey37

Andrey37
  • Platinum
  • Сообщений: 522
  • Регистрация: 17.06.2014
  • Заработано: 27 руб.
Репутация: 219

Награды: 22

  
  
  
  
  
  
  
  

Отправлено 02 Декабрь 2016 - 09:42

на стёпике курс на глаза попался, может надо кому

 

Hadoop. Система для обработки больших объемов данных

старт 5 декабря



#11 rapmachine

rapmachine
  • Platinum
  • Сообщений: 312
  • Регистрация: 08.07.2015
  • Заработано: 74 руб.
Репутация: 184

Награды: 20

  
  
  
  
  
  
  
  

Отправлено 02 Декабрь 2016 - 15:05

Соглашусь с предыдущими авторами, тема интересная. НО! Наполнять ее будет действительно не чем... Сливать платные курсы практически невозможно (их мало или на иностранных языках), обзоры на бесплатные или размышления можно выкладывать в блог.

Если за счет создания нового раздела администраторы хотят привлечь новую аудиторию - тогда стремления понятны и похвальны. Если раздел создается из-за вау-эффекта, то нет, я против...



#12 hoz

hoz

    Алень

  • Сливапер LVL 3
  • Сообщений: 1 032
  • Регистрация: 19.10.2014
  • Заработано: 220 руб.
Репутация: 11

Награды: 22

  
  
  
  
  
  
  
  

Отправлено 03 Декабрь 2016 - 23:08

их полно,  например https://wakari.io/ , онлайн тетрадка с питоном и всеми библиотеками

можно себе на пк установить анаконду, она тоже бесплатна

 

насколько я знаю, в visual studio  есть питон и удобности для анализа данных....есть много вариантов

Бесплатны? А за что тогда ресурс  https://wakari.io/ берёт деньги? Ведь у них же на сайте имеется даже ссылка на план..

Что за анакодна?



#13 Крысолов

Крысолов
  • Platinum
  • Сообщений: 38
  • Регистрация: 02.03.2016
  • Заработано: 1 руб.
Репутация: 0

Награды: 14

  
  
  
  
  
  
  
  

Отправлено 04 Декабрь 2016 - 19:25

они берут деньги за возможность пользоваться ресурсом вне зависимости от количества пользователей ( как я понимаю у  них возможна ограниченная нагрузка на сервера, из  этого следует, что не всегда можно пользоваться данным сайтом, и из этого следуют уже платные аккаунты) , но нет смысла волноваться, почти 100% времени сервер доступен в бесплатном режиме, потому как бигдатеров не так уж и много на нашей планете

 

анаконда это пакет научных модулей которые будут использоваться при анализе больших данных, устанавливается в 1 клик

https://www.continuum.io/downloads

 

и дальше можно работать на своем пк


на стёпике курс на глаза попался, может надо кому

 

Hadoop. Система для обработки больших объемов данных

старт 5 декабр

 

 

именно для этого и хочу создать раздел, или хотя бы тему

один человек точно не может отслеживать новинки на степике или курсере, или на других ресурсах

 

к тому же можно будет "заряжаться" в рескладчины, например вот в парочку этих

http://resklad.biz/t...undle-eng.4126/

http://resklad.biz/t...im-dannym.4131/

 

если будет действовать вместе, то и охват будет шире и выкупание курсов будет дешевле (или вообще станет возможно при условии что мы сами создадим складчину на барыжнике, а потом рескладнем ее)


Соглашусь с предыдущими авторами, тема интересная. НО! Наполнять ее будет действительно не чем... Сливать платные курсы практически невозможно (их мало или на иностранных языках), обзоры на бесплатные или размышления можно выкладывать в блог.

Если за счет создания нового раздела администраторы хотят привлечь новую аудиторию - тогда стремления понятны и похвальны. Если раздел создается из-за вау-эффекта, то нет, я против...

голосование было запущено модератором, потому что я хотел создать раздел... и нужно было прощупать вымя спрос на тематику 

сливать можно, и очень даже немало, за последние лет 5 выпустилось довольно много книг и курсов, даже на русском языке (не говоря уже о иностранцах)



#14 KillMonday

KillMonday
  • Сливапер LVL 5
  • Сообщений: 270
  • Регистрация: 24.03.2015
  • Заработано: 9 руб.
Репутация: 352

Награды: 17

  
  
  
  
  
  
  
  

Отправлено 13 Январь 2017 - 21:38

Крутая идея много кто не понимает её мощи, а владея информацией такого уровня можно много чего творить. Чего только одна нейросеть стоит. За этим будущее. Почти не могу, т.к. ноль в любой из тематик. Освоить хочу, возможно что-нибудь толковое буду постить, если изучу. Обещать не буду.



Похожие темы Collapse

Количество пользователей, читающих эту тему: 1

0 пользователей, 1 гостей, 0 анонимных

×

Зарегистрируйся моментально!