[DajSięPoznać#5] F# WebCrawler + Privoxy

Wstęp Poprzednio pisałem o wizualizacji danych, tym razem o tym, jak te dane pozyskać. Po lupę zostały wzięty trzy duże serwisy z ogłoszeniami o nieruchomościach: gumtree, morizon i olx. Celem będzie pobranie na dysk dużej ilości ogłoszeń. Analiza stron Żeby napisać crawlera, najpierw trzeba trochę poklikać, pooglądać requesty w Fiddlerze i zbadać, jak dane są … Continue reading [DajSięPoznać#5] F# WebCrawler + Privoxy

Advertisements

[DajSięPoznać#2] Elasticsearch – budowa inteligentnej wyszukiwarki

Wstęp Elasticsearch to baza NoSql zorientowana na przetwarzanie ogromnych ilości danych, zarówno tekstowych, jak i numerycznych. Można dzięki niej zbudować wyszukiwarkę pełnotekstową a'la google. W tym projekcie będzie jeszcze wielokrotnie używany. Jego zaletą jest dokumentowy, JSON-owy model danych, wadą dość wysoka bariera wejścia dla nowych programistów związana z mocno skomplikowanym językiem budowania zapytań (które też zresztą … Continue reading [DajSięPoznać#2] Elasticsearch – budowa inteligentnej wyszukiwarki

[DajSięPoznać#1] F# +WebAPI, NLog, xUnit

Początki Nie jestem programistą F#, ale chciałbym go poznać. Mądrzy ludzie mówią, że dobry programista powinien raz w roku uczyć się nowego języka. DSP jest dobrą okazją do mocnej nauki F# i udowodnienia, że backend dla aplikacji webowych może być napisany w języku funkcyjnym. Początek jest prosty. Instalujemy w VS dodatek z galelerii o nazwie F# … Continue reading [DajSięPoznać#1] F# +WebAPI, NLog, xUnit