User-agent: *
Disallow: /

#Allowed Bots
User-agent: Googlebot
User-agent: MSNBot
User-agent: Teoma
User-agent: Yahoo

#Blocked URLs
Disallow: /
Disallow: *.*$
Disallow: */cache/
Disallow: */resource/

#Files
Allow: /file/
Allow: *.csv
Allow: *.doc
Allow: *.pdf
Allow: *.ppt
Allow: *.rtf
Allow: *.txt
Allow: *.xls

#Web Pages
Allow: */$
Allow: *.asp
Allow: *.htm
Allow: *.php

Allow: *0$
Allow: *1$
Allow: *2$
Allow: *3$
Allow: *4$
Allow: *5$
Allow: *6$
Allow: *7$
Allow: *8$
Allow: *9$

Allow: *0?
Allow: *1?
Allow: *2?
Allow: *3?
Allow: *4?
Allow: *5?
Allow: *6?
Allow: *7?
Allow: *8?
Allow: *9?

Allow: *a$
Allow: *b$
Allow: *c$
Allow: *d$
Allow: *e$
Allow: *f$
Allow: *g$
Allow: *h$
Allow: *i$
Allow: *j$
Allow: *k$
Allow: *l$
Allow: *m$
Allow: *n$
Allow: *o$
Allow: *p$
Allow: *q$
Allow: *r$
Allow: *s$
Allow: *t$
Allow: *u$
Allow: *v$
Allow: *w$
Allow: *x$
Allow: *y$
Allow: *z$

Allow: *a?
Allow: *b?
Allow: *c?
Allow: *d?
Allow: *e?
Allow: *f?
Allow: *g?
Allow: *h?
Allow: *i?
Allow: *j?
Allow: *k?
Allow: *l?
Allow: *m?
Allow: *n?
Allow: *o?
Allow: *p?
Allow: *q?
Allow: *r?
Allow: *s?
Allow: *t?
Allow: *u?
Allow: *v?
Allow: *w?
Allow: *x?
Allow: *y?
Allow: *z?

Allow: *A$
Allow: *B$
Allow: *C$
Allow: *D$
Allow: *E$
Allow: *F$
Allow: *G$
Allow: *H$
Allow: *I$
Allow: *J$
Allow: *K$
Allow: *L$
Allow: *M$
Allow: *N$
Allow: *O$
Allow: *P$
Allow: *Q$
Allow: *R$
Allow: *S$
Allow: *T$
Allow: *U$
Allow: *V$
Allow: *W$
Allow: *X$
Allow: *Y$
Allow: *Z$

Allow: *A?
Allow: *B?
Allow: *C?
Allow: *D?
Allow: *E?
Allow: *F?
Allow: *G?
Allow: *H?
Allow: *I?
Allow: *J?
Allow: *K?
Allow: *L?
Allow: *M?
Allow: *N?
Allow: *O?
Allow: *P?
Allow: *Q?
Allow: *R?
Allow: *S?
Allow: *T?
Allow: *U?
Allow: *V?
Allow: *W?
Allow: *X?
Allow: *Y?
Allow: *Z?