[DajSięPoznać#6] F# TextMining, xUnit, Unquote

Wstęp Poprzednio pisałem o tym, jak zebrać dużą ilość danych crawlując strony z ogłoszeniami. Tym razem nadszedł czas, żeby spróbować przeanalizować ten spory zbiór HTML-i i wyciągnać z nich wszystkie potrzebne dane. Na podstawie analizy szablonów każdego z portali można niektóre informacje powyciągać pisząc zapytania do drzewa DOM (bo na przykład cena jest zawsze w … Continue reading [DajSięPoznać#6] F# TextMining, xUnit, Unquote

[DajSięPoznać#5] F# WebCrawler + Privoxy

Wstęp Poprzednio pisałem o wizualizacji danych, tym razem o tym, jak te dane pozyskać. Po lupę zostały wzięty trzy duże serwisy z ogłoszeniami o nieruchomościach: gumtree, morizon i olx. Celem będzie pobranie na dysk dużej ilości ogłoszeń. Analiza stron Żeby napisać crawlera, najpierw trzeba trochę poklikać, pooglądać requesty w Fiddlerze i zbadać, jak dane są … Continue reading [DajSięPoznać#5] F# WebCrawler + Privoxy

[DajSięPoznać#4] Mapa Krakowa w SVG

Wstęp Do wizualizacji statystyk oprócz tradycyjnych wykresów przyda się także interaktywna mapa miasta podzielona na dzielnice.  Przykładowo, te dzielnice, w których ceny za metr kwadratowy mieszkania są najwyższe, będą na mapie znaczone ciepłymi kolorami, a te z najtańszymi, kolorami chłodnymi. Kształty dzielnic w SVG można znaleźć na wikipedii. Dlaczego SVG ? SVG dawno już przestał … Continue reading [DajSięPoznać#4] Mapa Krakowa w SVG

[DajSięPoznać#3] Aurelia – prosty framework do MVVM

Wybór technologii Z kilku powodów przy wypełnianiu zgłoszenia konkursowego zdecydowałem się na Aurelię jako framework do aplikacji SPA. Po pierwsze ze względu na autora (Rob Eisenberg) i bardzo pozytywne doświadczenia z WPF-a z jego wcześniejszym dziełem (Caliburn.Micro). Po drugie ze względu na bardzo zachęcającą prezentację na temat Aurelii na temat zeszłorocznego dotNet developer days w … Continue reading [DajSięPoznać#3] Aurelia – prosty framework do MVVM

[DajSięPoznać#2] Elasticsearch – budowa inteligentnej wyszukiwarki

Wstęp Elasticsearch to baza NoSql zorientowana na przetwarzanie ogromnych ilości danych, zarówno tekstowych, jak i numerycznych. Można dzięki niej zbudować wyszukiwarkę pełnotekstową a'la google. W tym projekcie będzie jeszcze wielokrotnie używany. Jego zaletą jest dokumentowy, JSON-owy model danych, wadą dość wysoka bariera wejścia dla nowych programistów związana z mocno skomplikowanym językiem budowania zapytań (które też zresztą … Continue reading [DajSięPoznać#2] Elasticsearch – budowa inteligentnej wyszukiwarki

[DajSięPoznać#1] F# +WebAPI, NLog, xUnit

Początki Nie jestem programistą F#, ale chciałbym go poznać. Mądrzy ludzie mówią, że dobry programista powinien raz w roku uczyć się nowego języka. DSP jest dobrą okazją do mocnej nauki F# i udowodnienia, że backend dla aplikacji webowych może być napisany w języku funkcyjnym. Początek jest prosty. Instalujemy w VS dodatek z galelerii o nazwie F# … Continue reading [DajSięPoznać#1] F# +WebAPI, NLog, xUnit

Daj się poznać – moja odpowiedź na wezwanie

Muszę przyznać, że Maciej Aniserowicz posiada niesamowitą moc aktywizowania ludzi w świecie IT. Ponad 200 zarejestrowanych projektów w ramach konkursu "daj się poznać" robi wrażenie i mnie także nie może tam zabraknąć. Czekają nas wszystkich ponad dwa miesiące intensywnego pisania kodu (repo na githubie) i tekstów na blogach - będzie ciekawie ! Pomysł na mój … Continue reading Daj się poznać – moja odpowiedź na wezwanie