W programach partnerskich oferowana jest prowizja od przekierowania klienta na stronę np. księgarni. Żeby jednak klient dotarł na nią w odpowiednie miejsce jest potrzebny spis książek (w przypadku księgarni) a nie zawsze taka baza jest udostępniana. W tym celu napisałem wiele niedużych programów napisanych w awk lub serwisów WWW opartych na PHP i MySQL podążających po podstronach serwisów WWW w poszukiwaniu danych spełniających zadane kryteria.
Innym przykładem, dla którego napisałem taki system to aukcje w serwisie Allegro. Niestety serwis ten nie zawsze spełnia oczekiwania, gdy np. chce się wybrać kilka produktów od jednego użytkownika i zapłacić raz za przesyłkę. Potrzebne do tego jest wyświetlenie aukcji z danej kategorii posortowane według sprzedającego. W tym celu powstał system przechodzący od strony do strony, ale niewychodzący poza zadaną kategorię i tworzący bazę aukcji z ich wszystkimi danymi. Mając już taka bazę można sortować i filtrować dane według własnych upodobań bez żadnych ograniczeń.
