Wat heeft Edwin te vertellen?

Lees het hier

Volg ook de RSS-feed:


Een zoekmachine bouwen #6 - Full page cache

13 juli 2018

In de afgelopen periode heb ik de crawler een aantal keren opnieuw op moeten starten omdat er zaken fout gingen. Wat dat betekent, is dat er telkens dezelfde requests uitgevoerd moesten worden en er (ten opzichte van eerdere keren) weinig of geen nieuwe data binnenkomt. Daarom heb ik nu een full page cache gemaakt en heb ik de crawler nog één keer opnieuw opgestart.

Lees meer »


Een zoekmachine bouwen #5 - Een stap verder

11 juli 2018

Nu de boel weer even draait, begint er weer wat data binnen te komen. Inmiddels is de database 8GiB groot, waarbij de keywords en de bijbehorende scores de meeste ruimte innemen. Op zich zie ik qua performance nog geen problemen, dus dat is gunstig. Wel denk ik dat er wat moet veranderen bij het opslaan van de keywords en phrases.. en nog een paar andere ingrijpende veranderingen.

Lees meer »


Een zoekmachine bouwen #4 - Server upgrade

10 juli 2018

Helaas heb ik doordeweeks (en vaak ook 's avonds) meer dingen te doen dan dit hobbyproject, daarom is het er even niet van gekomen. De vorige server was doordat ik er niet meer op gelet heb, volledig volgelopen met data. Tot op het punt dat vrijwel niets meer werkte. Gecrashte tabellen, amper schijfruimte om mee te werken en meer van zulk soort drama.

Lees meer »


Een zoekmachine bouwen #3 - 't Leed dat index heet

15 januari 2018

In deze serie bespreek ik de ontwikkeling van mijn zoekmachine tot in detail, waarbij ik zowel alle zaken die goed gaan als zaken die niet goed gaan bespreek. In deze editie heb ik het o.a. over een aanpassing van het ranking algoritme en over de problemen die je kunt krijgen met indices in MySQL bij grotere datasets.

Lees meer »


Een zoekmachine bouwen #2 - De eerste problemen

11 januari 2018

In deze serie blogs waarin ik een zoekmachine aan het ontwikkelen ben, wil ik niet alleen laten weten wat er goed gaat, maar ook wat er misgaat. Dat is tenslotte veel leuker.

Lees meer »


Een zoekmachine bouwen #1 - De eerste opzet

10 januari 2018

Jaren geleden heb ik een zoekmachine gebouwd en ben ik begonnen aan een paper die geheel toegewijd is aan dit onderwerp. De zoekmachine is nooit helemaal af geworden en hetzelfde geldt voor de paper. Een laatste concept komt uit 2011 (!) en is enigszins verouderd. Veel basisideeën zijn nog hetzelfde, maar...

Lees meer »


Wanneer ben je een expert?

27 januari 2014

Het valt mij op dat er veel experts zijn. Op televisie, in de krant, in het werkveld en natuurlijk op social media. Dit zijn mensen die hun leven wijden aan het bestuderen van een facet van het leven waar anderen wellicht slechts geringe aandacht aan besteden. Hoe zit dat nou? En wanneer ben je een expert?

Lees meer »

Twitter


 

Internet Marketing

Een zoekmachine bouwen #6 - Full page cache
Geplaatst op 13 juli 2018

Een zoekmachine bouwen #5 - Een stap verder
Geplaatst op 11 juli 2018

Een zoekmachine bouwen #4 - Server upgrade
Geplaatst op 10 juli 2018

Een zoekmachine bouwen #3 - 't Leed dat index heet
Geplaatst op 15 januari 2018

Auteur:

 

TimeTick producten
Urenregistratie software
Gratis urenregistratie software