Il lettore di pagine di Sarto
Quando un nostro cliente chiede di analizzare una sua scheda prodotto, il server scarica solo quella pagina, una volta, identificandosi con lo user agent:
SartoBot/0.1 (+https://app.danilopuglisi.com/sarto/bot)
- Non esploriamo il sito e non seguiamo i collegamenti in automatico.
- Non aggiriamo login, verifiche anti-robot o altre protezioni: se la pagina è protetta, chiediamo al cliente di incollarne il testo.
- Leggiamo solo pagine del dominio indicato dal cliente.