Navigare la paginazione di un sito
« il: Giugno 19, 2014, 07:46 »
Salve,
ho scritto un programmino che analizza delle pagine web e ne estrare le infromazioni che mi interessano.
Probabilmente è scritto nel modo peggiore possibile ( infatti lo sto riscrivendo in parte per ripulirlo delle troppe variabili globali e per renderlo più leggibile)

C'è un problema però che non so come affrontare:
io  accedo al sito in questione come un utente normale, non ho quindi la possibiità di creare mie query al db del sito, e per quello che ne so non esistono api che mi diano una qualche forma di accesso differente dalle pagine web.
Per questo motivo il mio programma lavora col testo della pagina web scaricata.
Tuttavia capita che mi trovi delle pagine che hanno una paginazione ( chiedo scusa per il gioco di parole) e in questo caso non ho idea di come gestire la cosa.
Se la mia pagina bersaglio che risponde ad un certo url ha una paginazione di n pagine io riesco a vedere solo la prima. 
Modificare l'url  tipo   url+/page=n  o altri sistemi mi porta sempre e solo all' url di base.

[codice]
<li><a onclick='changepage(1);' class='activepage'>1</a></li><li><a onclick='changepage(2)'>2</a></li><li><a onclick='changepage(2);'>Successivo</a></li>                                        </ul>
                                     <!--  PAGINATION END HERE-->
                                               </div>
                 <form name="memberidform" id="memberidform" action="/homepage/membercollection" method="post">
            <input type="hidden" id="memberidvalue" name="memberidvalue" value="" />
        </form>
                <form name="pagination" id="pagination" action="/homepage/category/710" method="post">
            <input type="hidden" id="page" name="page" value="" />
            <input type="hidden" id="hidsearchtxtbox" name="hidsearchtxtbox" value="" />
        </form>
        <script type="text/javascript">
 jQuery.noConflict();[/codice]

 Sembrerebbe che la pagina sia generata con jquery... dovrei quindi simulare un click sulla pagina per far caricare la schermata successiva?
 Se si come?
 Ci sono strade più semplici che non conosco?