In questo articolo scopriremo come creare, tramite PHP, una sitemap in XML che si auto-aggiorni traendo i dati relativi agli update dal database del portale relativo. Ecco un esempio di sitemap statica

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
	<url>
		<loc>http://www.example.com/</loc>
		<lastmod>2005-01-01</lastmod>
		<changefreq>monthly</changefreq>
		<priority>0.8</priority>
	</url>
</urlset>

La prima tag ci dice che il linguaggio usato è quello dell’ XML, version 1.0 e che la cifratura è UTF-8, quella classica insomma. Per trarre dati da un database e rendere la sitemap aggiornabile dinamicamente, dobbiamo creare un nuovo file php (che chiameremo sitemap.php) con un recordset che ci aiuterà a muoverci tra i dati del database. Il tutto dovrà esser integrato dopo la tag ‘urlset’ e finire prima dell’ ultimo’url’. Vediamo nella pratica:

<?php<br>
  $query = mysql_query ( "SELECT * FROM articles ORDER BY ID DESC" );<br>
  $row = mysql_fetch_assoc ( $query );</p>
<p> echo '<?xml version="1.0" encoding="utf-8"?>' . "<br>
  ";<br>
  ?></p>
<p><urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"><br>
  <?php<br>
  ############# BEGIN LOOP ############<br>
  do {<br>
  <br>
  $link = 'http://www.mydomain.com/articles.php?ID=' . $row['ID'];<br>
  $lastmod = ( $row['date_updated'] ) ? $row['date_updated'] : $row['date_added'];<br>
  $priority = 0.5;<br>
  $changefreq = 'monthly';<br>
  <br>
  ?><br>
  <url><br>
  <loc><?=$link?></loc><br>
  <lastmod><?=$lastmod?></lastmod><br>
  <priority><?=$priority?></priority><br>
  <changefreq><?=$changefreq?></changefreq><br>
  </url><br>
  <?php<br>
  } while ( $row = mysql_fetch_assoc ( $query ) );<br>
  ############# END LOOP ############<br>
  ?><br>
  </urlset>

Da notare che abbiamo impostato a 0.5 la priorità di ciascuna pagina che linka ad un singolo articolo, dal momento che queste, di solito, sono le meno aggiornate (una volta che un articolo è pubblicato è difficile che la pagina relativa subisca modifiche). Per il ‘lastomd’ abbiamo usato l’ ultima data nella quale l’ articolo è stato modificato, e se ciò non è mai avvenuto, la data di quando è stato aggiunto al database. Dobbiamo poi effettuare alcuni controlli sulle stringhe, per renderle compatibili all’ XHTML:

function do_xhtml ( $string ) {
        $string = stripslashes ( $string );
        $string = str_replace ( ''', ''', $string );
        $string = str_replace ( ''', ''', $string );
        $string = str_replace ( '?', '-', $string );
        $string = str_replace ( '?', '', $string );
        $string = str_replace ( '?', ', $string );
        $string = str_replace ( '?', ', $string );
        $string = str_replace ( '`', ', $string );
        return $string;
}

Insomma, come potete vedere con pochi semplici accorgimento, e tutto sommato poche linee di codice, siamo in grado di crearci una sitemap auto-aggiornabile, senza dover fare ricorso a servizi di terze parti.

Prima di lasciarvi, un piccolo accorgimento. Nel caso in cui il nostro portale sia di grandi dimensioni, e la sitemap debba pergiunta contenere migliaia di links, una sola sitemap non può bastare; Google permette però di risolvere il problema: bisogna creare una sitemap principale che linki ad altri files XML. In poche parole ci saranno più sitemaps, ciascuna relativa ad una determinata sezione del portale, ed una principale, i grado di richiamarle. Ecco in PHP come creare la sitemap che ne inglobi altre:

<?php
     echo '<?xml version="1.0" encoding="utf-8"?>' . "\r\n";
?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
      <sitemap>
               <loc>http://www.mydomain.com/articles_sitemap.php</loc>
               <lastmod><?=echo date ( 'Y-m-d' )?></lastmod>
      </sitemap>
      <sitemap>
               <loc>http://www.mydomain.com/scripts_sitemap.php</loc>
               <lastmod><?=echo date ( 'Y-m-d' )?></lastmod>
      </sitemap>
      <sitemap>
               <loc>http://www.mydomain.com/resources_sitemap.php</loc>
               <lastmod><?=echo date ( 'Y-m-d' )?></lastmod>
      </sitemap>
      <sitemap>
               <loc>http://www.mydomain.com/snippets_sitemap.php</loc>
               <lastmod><?=echo date ( 'Y-m-d' )?></lastmod>
       </sitemap>
       <sitemap>
               <loc>http://www.mydomain.com/jobs_sitemap.php</loc>
               <lastmod><?=echo date ( 'Y-m-d' )?></lastmod>
       </sitemap>
</sitemapindex>

Articoli Correlati

• Search Engine Optimization (seo) Guideline, A Guaranteed Blueprint.
• Cheat Sheat SEO: schemi e diagrammi con le regole fondamentali per un sito per i motori di ricerca
• Guida alle Sitemaps: Creare una sitemaps in ASP
• Guida alle Sitemaps: Che cosa è una sitemaps?
• I like di Facebook al posto dei link di Google: la nuova struttura

Oggi vediamo come generare una sitemap  usando ASP.

Ecco il codice ASP per generare una sitemap per un webserver. La pagina si chiama sitemap_gen.asp :

<%
' sitemap_gen.asp
' A simple script to automatically produce sitemaps for a webserver, in the Google Sitemap Protocol (GSP)
' by Francesco Passantino
' www.iteam5.net/francesco/sitemap_gen
' v0.1  04.06.05
' v0.2  05.06.05 Listing a directory tree recursively improvement
' v0.3b 09.06.05 File exclusion by Calvin Dunkley
' v0.4  17.06.05 iso8601dates http://www.tumanov.com/projects/scriptlets/iso8601dates.asp
' v0.4b 18.06.05 vdrir bug fixed
' v0.4c 13.07.05 phisical dir patch for some windows systems
'
' BSD 2.0 license,
' http://www.opensource.org/licenses/bsd-license.php

'modificare in base al proprio dominio
session('server')='http://www.yourdomain.net'
vDir = '/'
phisicalDir='C:Inetpubwwwroot'

'Info qui http://www.time.gov/
utcOffset=1

set objfso = CreateObject('Scripting.FileSystemObject')
root = Server.MapPath(vDir)

response.ContentType = 'text/xml'
response.write '<?xml version='1.0' encoding='UTF-8'?>'
response.write '<!-- generator='http://www.iteam5.net/francesco/sitemap_gen'-->'
response.write '<urlset xmlns='http://www.google.com/schemas/sitemap/0.84'>'

Set objFolder = objFSO.GetFolder(root)
'response.write getfilelink(objFolder.Path,objFolder.dateLastModified)
Set colFiles = objFolder.Files
For Each objFile In colFiles
        response.write getfilelink(objFile.Path,objfile.dateLastModified)
Next
ShowSubFolders(objFolder)

response.write '</urlset>'
set fso = nothing

Sub ShowSubFolders(objFolder)
        Set colFolders = objFolder.SubFolders
        For Each objSubFolder In colFolders
                if folderpermission(objSubFolder.Path) then
                        response.write getfilelink(objSubFolder.Path,objSubFolder.dateLastModified)
                        Set colFiles = objSubFolder.Files
                        For Each objFile In colFiles
                                response.write getfilelink(objFile.Path,objFile.dateLastModified)
                        Next
                        ShowSubFolders(objSubFolder)
                end if
        Next
End Sub

Function getfilelink(file,data)
        file=replace(file,phisicalDir,'')
        file=replace(file,'','/')
        If FileExtensionIsBad(file) then Exit Function
        If FileNameIsBad(file) then Exit Function
        filelmdate=iso8601date(data,utcOffset)

        getfilelink = '<url><loc>'&server.htmlencode(session('server')&file)&'</loc><lastmod>'&filelmdate&'</lastmod><priority>1.0</priority></url>'
        session('URLS')=session('URLS')+1
        Response.Flush
End Function

Function Folderpermission(pathName)
        'modificare qui per escludere un percorso
        PathExclusion=Array('   emp','_vti_cnf','_vti_pvt','_vti_log','cgi-bin')
        Folderpermission =True
        for each PathExcluded in PathExclusion
                if instr(ucase(pathName),ucase(PathExcluded))>0 then
                        Folderpermission = False
                        exit for
                end if
        next
End Function

Function FileExtensionIsBad(sFileName)
        Dim sFileExtension, bFileExtensionIsValid, sFileExt
        'http://www.googleguide.com/file_type.html
        Extensions = Array('png','gif','jpg','zip','pdf','ps','html','htm','asp','wk1','wk2','wk3','wk4','wk5','wki','wks','wku','lwp','mw','xls','ppt','doc','wks','wps','wdb','wri','rtf','ans','txt')

        if len(trim(sFileName)) = 0 then
                FileExtensionIsBad = true
                Exit Function
        end if

        sFileExtension = right(sFileName, len(sFileName) - instrrev(sFileName, '.'))
        bFileExtensionIsValid = false   'assume extension is bad
        for each sFileExt in extensions
                if ucase(sFileExt) = ucase(sFileExtension) then
                        bFileExtensionIsValid = True
                        exit for
                end if
        next
        FileExtensionIsBad = not bFileExtensionIsValid
End Function

Function FileNameIsBad(sFileName)
        if len(trim(sFileName)) = 0 then
                FileNameIsBad = true
                Exit Function
        end if
        Filename = Array('/alive.asp','/404.asp','/500.asp','/sitemap_gen.asp')
        FileNameNumber = ubound(Filename)
        for i=0 to FileNameNumber
                if Filename(i) = sFileName then
                        FileNameIsBad = True
                end if
        next
End Function

Function iso8601date(dLocal,utcOffset)
        Dim d
        ' Converte l' ora locale in UTC
        d = DateAdd('H',-1 * utcOffset,dLocal)

        ' crea la data
        iso8601date = Year(d) & '-' & Right('0' & Month(d),2) & '-' & Right('0' & Day(d),2) & 'T' & _
                Right('0' & Hour(d),2) & ':' & Right('0' & Minute(d),2) & ':' & Right('0' & Second(d),2) & 'Z'
End Function
%>

Di seguito, invece, il codice di sitemap_gen_db.asp , per generare una sitemap dinamica, auto-aggiornabile da database:

' by Francesco Passantino
' www.iteam5.net/francesco/sitemap_gen
' v0.1b released 5 june 2005
' v0.2  released 17 june 2005 iso8601dates http://www.tumanov.com/projects/scriptlets/iso8601dates.asp
' v0.2b released 28 july 2005 id_page=Server.URLEncode(rs('id')) to put words in id, thanks to Mike Kellogg
'
' BSD 2.0 license,
' http://www.opensource.org/licenses/bsd-license.php

MAXURLS_PER_SITEMAP = 50000

'modificare in base al proprio URL
baseurl='http://www.yoursite.com/default.asp?page='

xDb_Conn_Str = 'Provider=Microsoft.Jet.OLEDB.4.0;Data Source=' & server.mappath('dbyourdb.mdb') & ';'
strsql = 'SELECT * FROM yourtable'

'info su http://www.time.gov/
utcOffset=1

response.ContentType = 'text/xml'
response.write ''
response.write ''
response.write ''

Set conn = Server.CreateObject('ADODB.Connection')
conn.Open xDb_Conn_Str
Set rs = Server.CreateObject('ADODB.Recordset')
rs.Open strsql, conn
Do while not rs.eof
        if URLS1.0 then priority='1.0'

                response.write ''&server.htmlencode(baseurl&id_page)&''&filedate&''&priority&''
                URLS=URLS+1
                Response.Flush
        rs.movenext
end if
Loop

response.write ''

rs.Close
Set rs = Nothing
conn.Close
Set conn = Nothing

Infine, lo script sitemap_gen_spider, per creare sitemap usando l’ MSXML spider:

<%
' sitemap_gen_spider.asp
' A simple script to automatically produce sitemaps for a webserver, in the Google Sitemap Protocol (GSP)
' by Francesco Passantino
' www.iteam5.net/francesco/sitemap_gen
' v0.1 released 9 june 2005
' v0.2 released 17 june 2005 iso8601dates http://www.tumanov.com/projects/scriptlets/iso8601dates.asp
'
' BSD 2.0 license,
' http://www.opensource.org/licenses/bsd-license.php

'configurazione dello script
Url='http://www.yoursite.com/'
FinalDepth=3
LimitUrl=100
'lasciare sitemapDate vuoto se si vuole che appaia sitemapDate=now
sitemapDate=''
'da 0.1 a 1.0
sitemapPriority='0.7'
'valori possibili: always, hourly, daily, weekly, monthly, yearly, never
sitemapChangefreq='monthly'
'info su http://www.time.gov/
utcOffset=1

Dim objRegExp,objUrlArchive,strHTML,objMatch
Server.ScriptTimeout=300
set xmlhttp = CreateObject('MSXML2.ServerXMLHTTP')
Set objUrlArchive=Server.CreateObject('Scripting.Dictionary')
Set objRegExp = New RegExp
objRegExp.IgnoreCase = True
objRegExp.Global = True

'modificabili a piacimento
objRegExp.Pattern = 'href=(.*?)[s|>]'
'per rimuovere elementi dagli url html
RemoveText=array('<','>','a href=',chr(34),''','href=')
'per escludere elementi dagli URL
ExcludeUrl=array('mailto:','javascript:','.css','.ico')

'si si vuole che risulti sitemapDate=now
if sitemapDate='' then filelmdate=now()

sitemapDate=iso8601date(filelmdate,utcOffset)

crawl url,0

For Depth=0 to FinalDepth
        arrUrl=objUrlArchive.Keys
        arrDepth=objUrlArchive.Items
        For LoopUrl= 0 to ubound(arrurl)-1

                'debugging
                'response.write '<!-- pagefound=''&loopurl&''-->'

                crawl url&'/'&arrUrl(LoopUrl),Depth

                'se si vuole limitare il numero amssimo di URL
                'if objUrlArchive.Count-1>LimitUrl then exit for

        Next
        erase arrUrl
        erase arrDepth
Next

' crea l' XML
arrUrl=objUrlArchive.Keys
arrDepth=objUrlArchive.Items
response.ContentType = 'text/xml'
response.write '<?xml version='1.0' encoding='UTF-8'?>'
response.write '<!-- generator='http://www.iteam5.net/francesco/sitemap_gen'-->'
response.write '<!-- pagefound=''&ubound(arrurl)&''-->'
response.write '<urlset xmlns='http://www.google.com/schemas/sitemap/0.84'>'
For LoopUrl=0 to ubound(arrurl)-1
        response.write '<url>'
        response.write '<loc>'&server.htmlencode(url&arrUrl(LoopUrl))&'</loc>'
        response.write '<lastmod>'&sitemapDate&'</lastmod>'
        response.write '<priority>'&sitemapPriority&'</priority>'
        response.write '<changefreq>'&sitemapChangefreq&'</changefreq>'
        response.write '</url>'
Next
response.write '</urlset>'

erase arrUrl
erase arrDepth
objUrlArchive.RemoveAll()
set xmlhttp = nothing

Sub crawl(url,depth)
        xmlhttp.open 'GET', url, false
        xmlhttp.send ''
        strHTML = xmlhttp.responseText

        For Each objMatch in objRegExp.Execute(strHTML)
                for i=0 to ubound(excludeUrl)
                        if instr(objmatch,excludeUrl(i))>0 then objmatch=''
                next
                if objmatch<>'' then
                        for i=0 to ubound(RemoveText)
                                objMatch=replace(lcase(objMatch),lcase(RemoveText(i)),'')
                        next
                        'in alcune occasioni è meglio sostituire con if left(objMatch,len(url))=Url then
                        if instr(objMatch,'http://')=0 and objmatch<>'' then
                                if objUrlArchive.Exists(objMatch)=false then
                                        objUrlArchive.Add objMatch,depth

                                        'debugging
                                        'response.write objmatch&'<br>'
                                        'response.flush

                                end if
                        end if
                end if
        Next
End Sub

Function iso8601date(dLocal,utcOffset)
        Dim d
        ' converte l' ora locale in UTC
        d = DateAdd('H',-1 * utcOffset,dLocal)

        ' compone da data
        iso8601date = Year(d) & '-' & Right('0' & Month(d),2) & '-' & Right('0' & Day(d),2) & 'T' & _
                Right('0' & Hour(d),2) & ':' & Right('0' & Minute(d),2) & ':' & Right('0' & Second(d),2) & 'Z'
End Function
%>

Articoli Correlati

• Cheat Sheat SEO: schemi e diagrammi con le regole fondamentali per un sito per i motori di ricerca
• Internet nel 2009 in Italia e nel mondo: i principali avvenimenti
• Google Dashboard: tutti i dati che Google sa di te. Nuovo servizio per la gestione account.
• Guadagnare con un sito web e le news e gli articoli pubblicati: Google pensa ai micropagamenti
• Google Adsense e pubblicità su Internet: apertura a investitori terzi.

Abbiamo recentemente fatto chiarezza su cosa sia una sitemap e ora, come promesso, andiamo ad analizzare nella teoria come crearne una (a breve seguirà pure la messa in pratica di quanto scritto qui sotto).

Usare un editor testuale

Innanzitutto abbiamo bisogno di un qualsiasi editor testuale, dal notepad di Windows a qualsiasi altra evoluzione. All’ interno del documento dobbiamo scrivere tutti, ma proprio tutti, sottoforma di elenco, i links del nostro sito.

Controllare ciascun link

Naturalmente dovremo testare ciascun link inserito, per assicurarci che non vi siano errori o che le pagine non vengano trovate.

Piazzare un link alla sitemap

A questo punto dobbiamo linkare la sitemap nel nostro sito, quindi ad esempio piazziamo nel footer della home un linka d essa, così che tanto i bot quanto i visitatori in carne ed ossa possano accedervi.

Difficile? Ma no di certo. Il problema si pone però nel momento in cui il portale è dinamico e quindi in continuo e costante aggiornamento. Bisogna ricreare ogni giorno, talvolta più volte al giorno, la sitemap, e farlo manualmente risulta assai scomodo. Come ovviare al problema? Esistono fortunatamente diversi servizi che creano senza patemi una perfetta sitemap, l’ unica cosa da fare è fornire loro l’ URL del portale. Ovviamente comunque maggiore è il grado di personalizzazione della sitemap richiesto, più è basilare crearsi la propria sitemap manualmente. E la scelta va ponderata attentamente: sì che usare servizi come quelli descritti poco sopra è comodo, ma va tenuta presente l’ importanza di una sitemap: il Web ormai è ricco di contenuti, una buona sitemap permette ai bot di indicizzarli al meglio e di presentarli di conseguenza, in maniera pertinente, agli utenti. Vale dunque la pena prestarvi grande attenzione, a costo di perdervi diverse ore di lavoro.

Articoli Correlati

• Search Engine Optimization (seo) Guideline, A Guaranteed Blueprint.
• Cheat Sheat SEO: schemi e diagrammi con le regole fondamentali per un sito per i motori di ricerca
• Guida alle Sitemaps: Generare una sitemaps in PHP
• Guida alle Sitemaps: Creare una sitemaps in ASP
• Guida alle Sitemaps: Che cosa è una sitemaps?

Cos’è una sitemap?

Con sitemap intendiamo prevalentemente un singolo file in formato XML (Extensible Markup Language) e precisiamo che è stato Google, nel 2005, ad inventare e pubblicare il Sitemap Protocol, il quale permette ai webmasters di far conoscere ai motori di ricerca quali pagine del proprio sito indicizzare, evitando che i loro bot se ne dimentichino qualcuna. Accanto a questo, un’ altra funzione è quella di fornire altri parametri ai motori di ricerca, relativi sia a come indicizzare ciascuna pagina segnalata sia alle pagine stesse (frequenza di aggiornamento, ad esempio).

Attenzione però, perchè le sitemaps sono solo uno strumento che semplifica la vita ai motori di ricerca, ma ciò non significa che senza una sitemaps il sito non viene indicizzato; così come non significa che una sitemaps migliori sempre il posizionamento del sito stesso; ad esempio, un portale strutturato in maniera pulita e semplice non avrà bisogno di una sitemaps, perchè i bot dei motori di ricerca non avranno difficoltà ed analizzarne le pagine senza perderne alcuna.

Avere una sitemap è comunque un vantaggio; infatti la frequenza con al quale i bot dei motori di ricerca visitano il nostro sito non è costante, e talvolta possono passare settimane tra una visita e l’ altra; è quindi importante sfruttare al massimo l’ occasione nella quale tali bot si presentano sul sito, fornendo loro maggiori informazioni possibili sulle nostre pagine, ossia fornendo loro una sitemap. E come facciamo a far capire a questi bot che il nostro sito è dotato di sitemap? Possiamo aspettare che los coprano da soli, ma possiamo pure segnalarglielo, tramite il file robots.txt. Per far ciò basterà aprire tale file ed aggiungervi la riga:

Sitemap: http://www.sitodiesempio.it/sitemap.xml

Sarebbe un peccato faticare per costruire una bella sitemap, e scoprire dopo mesi che i bot non la hanno mai individuata!

Tra qualche giorno torneremo per raccontarvi come creare una sitemap.

Articoli Correlati

• Cheat Sheat SEO: schemi e diagrammi con le regole fondamentali per un sito per i motori di ricerca
• Web Marketing: conoscenze, attività, competenze sono sempre di più e più complesse da possedere. E pochissime aziende italiane ne paiono consapevoli.
• Posizionamento siti su Google: le novità di Caffeine trapelate finora
• Microsoft-Yahoo: accordo e alleanza per la pubblicità online. Alcune considerazioni.
• Microsoft e Yahoo: accordo fatto. Cosa prevede l'alleanza.