Crawlerların Bölümleri

Spider: Crawler olarak da adlandırılır. Spider siteyi ziyaret eder, okur ve daha sonra linkleri takip ederek diğer sayfalara ulaşır. Spider siteyi bir ay ya da iki ay arayla düzenli olarak tekrar ziyaret eder.

Index: Spiderın bulduğu herşey arama motorunun indexine gider. Indexte spiderın bulduğu tüm sayfaların bir kopyası depolanır ve spider sayfaları tekrar ziyaret edip güncel hallerini getirdiğinde index de yenilenir.

Yazılım: Son parça olan arama motoru yazılımı ise indexde depolanan milyonlarca sayfa arasından uygun sonuçları bulur ve en uygun olanlara göre sıralandırma yaparak sonuçları getirir.

Bütün crawlerlarda bu parçalar vardır ama bu parçaların her birinin işlevi her arama motorunda değişiktir. Bu yüzdendir ki aynı arama farklı arama motorlarında değişik sonuçlar ortaya çıkarır.

Crawlerların Özellikleri

Derin Araştırma: Ara motorlarının indexlerine kaydetme başvurusu yapmamasına rağmen siteleri bulması anlamına gelir. Hemen hemen tüm crawlerlarda bu özellik vardır ama bazıları bu konuda daha iyidir. Bu özelliği en iyi olanlar Fast, Google ve Inktomi, kötü olanlar ise Altavista ve Teoma dır.

Stop Kelimeleri: How, and, What gibi genel kullanımı olan kelimeler birçok crawler tarafından yer kazanılması ve aramanın hızlandırılması için indekslenmez ya da arama içinde geçmesine izin verilmez. Bu özelliği kullanmayan ve stop kelimelerine yer veren tek crawler Fast dir.

Description: Meta taglar arasında bulunan açıklama kısmının kullanılması anlamına gelir. Tüm arama motorları bir biçimde destekler ama Altavista, Fast ve Teoma bundan en çok yararlanan crawlerlardır.

Keywords: Meta tagler arasında bulunan keywords taginin desteklenip desteklenmediğidir. Destekleyenler Inktomi ve Teoma dır.

Alt Text: Grafikler altına yazılan ve mouse ile üstüne gelindiğinde ortaya çıkan yazılardır. Destekleyenler Altavista, Google ve Teoma dır. Desteklemeyenler ise Fast ve Inktomi dir.

Tanınmış Crawlerlar

Google: Şüphesiz ki en tanınmış, en önemli ve en çok kullanılan crawler tarzı arama motoru Google dır. Ayrıca sonuçlar Yahoo, AOL ve Netscape gibi arama motorlarınca da kullanılır. Google a kayıt olmanın en iyi yolu tüm crawlerlar için de olduğu gibi linklerinizi diğer sitelere kaydetmektir. Ayrıca ODP ye sitenizi eklerseniz bu hem Google ın indexine girer, hem de ODP dizinini kullanan Google ın dizinine girer. Ayrıca Google bir de manuel olarak site ekleme opsiyonu kullanır. Buraya anasayfanızı ve çok önemsediğiniz bir sayfanızı göndermeniz yeterli olacaktır. 2 sayfa göndermenizin esprisi bir sayfanıza ulaşamadıklarında diğerine ulaşıp robotun sitenizi dolaşması içindir.

Inktomi: Önemli bir arama motorudur ve sonuçları MSN, Overture, LookSmart ve HotBot tarafından da kullanılır. Yahoo, Inktomi’yi satın aldığından dolayı çok daha büyük bir önem kazanmıştır ve önümüzdeki günlerde çok büyük gelişmelere gebe olduğundan dolayı indeksinde yer almak önemlidir. Diğer tüm crawlerlar da olduğu gibi Inktomi ye de sitenizi eklemenin en iyi yolu görünen yerlere linkinizi yerleştirmektir. Inktomi ayrıca partnerleri üzerinden bir ücretsiz site ekleme opsiyonu da sunar. Buraya eklenen siteler 2 ay sonra Inktomi veritabanına girer. Inktomi, bunları 1 ay boyunca gözetim altında tutar ve eğer ziyaretçileri bu linklere tıklamıyorsa, bu siteleri faydasız siteler olarak görüp veritabanından çıkarır. Eğer ziyaretçiler bu linklere tıklıyorsa, sitenin faydalı olduğunu düşünüp veritabanında tutmaya karar verir. Bu yüzden en iyi yol sitenizi Inktomi’nin eklemesini beklemektir. Gene de sitesini ücretsiz eklemek isteyenler şu adresi ziyaret ederek üye olup sitelerini ekleyebilirler.

Fast Seach(AllTheWeb): Önemli bir arama motorudur ve sonuçları Lycos tarafından da kullanılır. Kayıt olmanın en iyi yolu bunun için de geçerlidir. Ayrıca bir de manuel site ekleme özelliği vardır.

Teoma: Önemli bir arama motorudur ve sonuçları Ask Jeeves tarafından da kullanılır. Zaten aslen Ask Jeeeves Teoma nın sahibidir. En iyi ve tek yol yukarıda bahsedilen yoldur çünkü Teoma da Inktomi gibi manuel site ekleme özelliği sahibi değildir.

Altavista: Eskiden çok popüler olan bu arama motorunun popülerliği son zamanlarda kaybolmaya yüz tutmuştur ama gene de bazı insanlar hala eski alışkanlık olarak arama için bu arama motorunu kullanırlar. Altavista da diğer crawlerlar gibi sayfanızı internet üzerinde bulursa direk ekler.

CGI programları “çalıştırılabilir” kodlar olduğundan, bir başkası, kolaylıkla sizin sisteminizde program çalıştırabilir!! Bu yüzden, cgi kodları sistemde özel yerlerde tutulur ve o sistemin görevlilerinin denetimi altındadır.

CGI programları herhangi bir dilde yazılabilir : C, Fortran, Pascal, C++, Perl, Unix Shell, Visual Basic vb. CGI eğer C ya da Fortran gibi bir dilde yazılırsa, derlenmelidir. Perl ya da Unix Shell gibi ortamlar ise script ortamlardır ve bu şekilde yazılmış CGI Script’ler doğrudan çalıştırılabilir.

Özellikle Java ve JavaScript kullanımlarının yaygınlaşması, CGI’nin ilk zamanlardaki popüleritesini azaltmıştır. Öte yandan, CGI programları/scriptleri, bulundukları sistemde saklıdırlar ve çalıştıklarında o sistemin kaynaklarını kullanırlar. Oysa Java Appletleri ve JavaScript, doğrudan HTML döküman içinde onu çağıran web listeleyicisine gelirler ve burada icra edilebilirler. Bu da, Java Applet ve JavaScript’in CGI’ye göre önemli bir avantajıdır.

Java ile herhangi bir ortamda oluşturulan bir yazılım, hiçbir değişiklik yapılmadan, hatta tekrar derlenmeye bile ihtiyaç duyulmadan başka bir ortamda kullanılabilir. Java, bilgisayar teknolojilerinin kullanıldığı elektronik ev eşyaları gibi diğer elektronik sistemlerde de programlama aracı olarak kullanılabilir. İlerde ev eşyalarımızın da bilgisayarlarla aynı ağ üzerinde olacağı ve böylece bilgisayarlarımızdan ev eşyalarımızı kontrol edebileceğimiz düşünüldüğünde Java’nın önemi daha da belirginleşmektedir.

Java Özellikleri ve Avantajları

Nesne Yönelimli & Dağınık
Java nesne yönelimli (object-oriented) bir programlama dilidir. İhtiyaç halinde gerekli modüllere ağ üzerinden erişilmesi mantığına dayandığından, modüllerinin tamamının lokal bilgisayarda bulunması gerekli değildir.

Sağlam & Güvenilir
Java güçlü hafıza yönetimi yeteneği sayesinde programcı hatalarını yakalayabilir ve her nesne için güvenli bir çalışma ortamı sağlar.

Platform Bağımsız & Taşınabilir
Uygulama geliştiricilerin en büyük kabusu programların farklı işlemcilerde ve işletim sistemlerindeki çıkardığı problemlerdir; uygulama birisinde çalışırken diğerinde çalışmayabilir. Java derleyicisi burada devreye girer ve programı “bytecode”a çevirir. Bu kod tamamen platform bağımsız olduğundan tüm işlemcilerde çalışır.

Multi-threaded & Dinamik
‘Multi-threaded’ bir programda bir çok işlemin aynı zamanda gerçekleşmesi özelliğidir. Java bu tür program geliştirmeye önemli ölçüde destek verir.

XML ve HTML arasındaki en belirgin fark XML’in verinin kendisiyle ilgilenmesi HTML’in ise verinin sunumuyla ilgilenmesidir.Buna bağlı olarak HTML dökümanları veriye ilişkin şekillendirme bilgilerini içerirken XML dökümanları ise verinin tanım bilgilerini içermektedir. XML’in tasarım amaçlarından biri de verinin taşınmasıdır.

Bahsedilen bu özellikleri incelendiğinde XML’in pek çok önemli işlevi yerine getirdiği görülmektedir.

Burada önemli bir nokta olarak XML’i HTML’in yerine geçecek bir dil olarak düşünmek yerine HTML’in tamamlayıcısı olacak olan bir dil şeklinde düşünmek uygundur.

Günümüz bilişim dünyasına bakacak olduğumuzda XML’in her alanda karşımıza çıktığını görmekteyiz.Bu nedenle XML’I bir anlamda geleceğin web dili olarak tanımlamak mümkündür.

XML ile veriler yapı bakımından modülerlik kazanmaktadır.Yukarıda bahsettiğimiz gibi XML dökümanları verinin içeriğiyle ilgilenmektedirler.Bu sayede verilerin içerik,yapı ve sunum kısımları ayrı modüller halinde farklı XML dökümanlarında tutulmaktadır.

XML dökümanları Veri Adaları(Data Islands) adı verilen teknik sayesinde HTML sayfaları içerisinde de depolanabilmektedir.Bu teknik sayesinde verinizin sadece sunumuyla ilgilenilmektedir

XML ile verinin alışveriş işlemi gerçekleştirilir.XML,yapısının esnekliği sayesinde birbirine uyumlu olmayan sistemler arasında veri alış verişini rahatlıkla gerçekleştirmektedir.Günümüz bilişim dünyasında bilgisayar sistemleri ve veritabanlarının genellikle birbirine uyumsuz sistemler içerebildiklerini görmekteyiz.Bundan dolayı uygulama geliştiriciler Internet üzerinden bu tip uyumsuz verilerin alış veriş işlemini gerçekleştirmek zorundadırlar.

Verinin XML formatına çevrilmesi ile farklı sistemler ve uygulamalardaki verilerin karmaşıklık derecesi indirgenerek alış veriş işleminin kolaylaştırılması sağlanır.

XML ile finansal bilgilerin Internet üzerinden alış verişi sağlanmaktadır.Günümüzde artık hepimizin sıklıkla duyduğu elektronik iş kavramı açısından incelenecek olduğunda XML�in önemli fonksiyonları yerine getirdiği görülmektedir.Bahsedilen bu fonksiyonları ile XML geleceğin Elektronik İş dili olarak da yeni bir misyonu üstlenmektedir.

XML ile verinin paylaşımı kolaylaştırılır.

XML,veriyi düz metin (plain text) formatında saklamasından dolayı veriyi paylaştırma konusunda da hem yazılım hem de donanımdan bağımsız hareket edebilme imkanını sunmuştur.

Bu sayede farklı uygulamalarda hareket eden farklı veri tipleriyle çalışmak daha da kolaylaşır.Ayrıca işletim sistemlerinin yükseltgenmesi,sunucu,uygulama vb. dışsal faktörlerin yenilenmesi gibi dışsal faktörlerden de asgari ölçüde etkilenilmiş olunur.

XML ile verinin depolanması sağlanır.

XML, verinin dosyalarda veya veritabanlarında saklanması için de kullanılabilir.

XML,yazılım,donanım ve uygulamalardan bağımsız olduğu için verinin daha elverişli olarak kullanımını sağlamaktadır.Yani başka istemci(client) veya uygulamalar tıpkı veri kaynaklarına erişiyormuş gibi XML dosyalarına rahatlıkla erişebilirler.

XML,esnek yapısı nedeniyle başka dillerin de oluşturulabilmesine olanak tanır.Wireless Markup Language(WML) mobil cihazları için kullanılan WAP ortamlarının dilidir ve XML�in türevidir.

Genel olarak bir XML dokümanını üç dosyayla tanımlayabiliriz. (Bu şart olmasa da tavsiye edilen bir uygulamadır.) Dosyalardan biri XML formatlı veri içerik dosyası, biri XSD (DTD yerine) formatlı şema dosyası, biri de XSL (CSS yerine) formatlı stylesheet dosyasıdır. Bu üç dosya tipi de XML tabanlı olduğundan XML destekli tüm sunucu ve veri tabanlarında çalıştırılabilir. Ancak; Tamino gibi XML’in herhangi bir dönüşüme gerek olmadan yalın (native) olarak saklandığı veritabanı yönetim sistemleri, diğer veritabanlarında karşılaşılan dışsal veri tipleri veya farklı format dönüşümlerini gerektirmediğinden; sorgu, transfer ve entegrasyon işlemlerinin performansları oldukça yüksektir.

XML veritabanı yönetim sistemlerinde, karmaşık veri yapılarının belli bir ilişiksel tablolama sitemi ile kodlanması zorunluluğu yoktur. Bunun yanında, karışık yapıdaki bir veri kaynağı içerisinde belirli bir dokümana veya bir dokümanın belirli bir kısmına ulaşmak istenmesi durumunda, XML veritabanları hızlı sorguluma olanak sağlamaktadır. Verinin yalın biçimde kendi iç formatında tutuluyor olması bu erişimi kolaylaştırmaktadır. Diğer veritabanı yönetim sistemi yaklaşımlarında, bu tarz bir arama için karmaşık çoklu tabloların araştırılması ve daha sonra XML verisine dönüştürülmesi işlemi performans düşüklüğü ve maliyet artırıcı ilave uygulamalar gerektirebilmektedir.

XML entegrasyonun genel olarak üç aşamada yapılması gerekir:

1. Kurumsal mevcut sistemlerin entegrasyonu

Kullanılmakta olan sistem, uygulama ve veri tabanlarından mevcut yapıya ilişkin bilgi alınır, daha sonra bu yapı web servisleri matığına göre yeniden şekillendirilir. Böylece:
Mevcut sistemlerdeki verilerin geri dönüşümü (yeni sisteme göre kullanılmaları) sağlanır.
Entegrasyon projesinin karmaşıklığı ve maliyeti azaltılmış olur.

2. Kurumsal servis entegrasyonu

Standart tabanlı XML kullanarak, mevcut IT kaynaklarının ve servislerin kurum tarafından kontrolü sağlanır. Böylece:
Servislerin, esnek mimari sayesinde, kurumsal gereksinimlerle uyumluluğu arttırılır.
Çoklu uygulamaların (multiple applications) bilgi, akış ve yapılarını kümeleyen (bir araya getiren) esnek, kompozit uygulamalar yaratır.
Satıcıların standart tabanlı mimarilere bağlı kalmasını önler.

3. Kurumsal bilgi entegrasyonu

Kullanıcıların iş terimleri kullanarak aradıkları bilginin, formatından ya da bulunduğu sistemden bağımsız olarak veri kaynaklarında bulunması, erişilebilir olması ve taşınmasını sağlayan bir gateway oluşturur. Böylece:
Kullanıcının ya da iş akışının ihtiyacına göre veri sunumları yapılabilir ya da diğer türdeki sunumlarla birleştirilir.
Her türlü bilgisayara ve uygulamalara tam zamanlı bilgi taşınır.
Güncellenen bilgi sayesinde yöneticilerin karar verme süreci güçlenir.

PHP, ilk olarak 1990′lı yılların ortalarında Rasmus Lerdorf tarafından geliştirilmeye başlanmıştır. Lerdorf’un amacı kişisel bilgilerini internet üzerinden yayınlamaktı. O tarihteki teknolojide, günümüzdeki gibi gelişmiş web tasarım yazılımlarının bulunmamasından dolayı , kişisel web sayfası yapmak çok daha zordu. Buradan yola çıkarak, kişisel web sayfası yapmak için bir yazılım hazırladı ve adına Personal Home Page (PHP) adını verdi. PHP, Perl dili üzerine kurulu bir dil olarak geliştirilmeye başlanmıştır. PHP’ nin çok tutulması üzerine web tasarımcılarının çok ihtiyacı olan, yani form yoluyla ziyaretçiden gelen bilgileri işlemeyi sağlayan eklemeler yapılarak adına PHP/FI (Form Interpreter) adını aldı. Kimileri tarafından programın bu versiyonu PHP2 olarak adlandırıldı. 1995 yılının ortalarında PHP Lerdorf’un kurmuş olduğu bir grup tarafından daha da geliştirildi. Bu sefer Perl dilindeki fonksiyonlardan tamamen arındırılmış ve Object Oriented (Nesneye Dayalı) bir dil haline getirildi.

Günümüzde PHP4 versiyonu ardından çok daha güçlü ve çok daha çok özellikli halde PHP5 versiyonu geliştirilmiş durumdadır. PHP dili Linux gibi Açık Kaynak Kodlu bir dildir ve ücretsiz olarak dağıtılmaktadır ve geliştirilmektedir. Linux, Unix, Windows tabanlı işletim sistemlerinde çalışabilen versiyonları mevcuttur.

PHP Nedir?
Platformdan bağımsız (Windows,Linux, Etc.) çalışabilen sunucu taraflı, Html gömülü betik dilidir. Perl, C/C++ tipinde script dilidir. Bu dillere aşina olanlar ve herhangi bir programlama dilini bilenler PHP yi fazla vakit kaybetmeden öğrenebilirler.

Oracle, Adabas D, Sybase, FilePro, mSQL, Velocis, mySQL, Informix, Solid,dBase, ODBD Unix dbm ve PostgreSQL veritabanlarıyla güvenli iletişim kurabilir ve IMAP, SNMP, NNTP , POP3 , HTTP servislerine bağlantı kurabilmektedir.

Platform olarak “Linux & Apache & mySQL” kullanılması en yaygın ve önerilendir. Siz kendi sisteminizde de sorunsuz kullanabilirsiniz.

Diğer Betik Dillerinden Farkı

Php’nin diğer betik dillerinden farkı mevcuttur. Bunlar;

PHP’nin JavaScript gibi istemci tarafına hitap eden betik dillerinden en önemli tarafı sunucu tarafından yorumlanmasıdır.

PHP’de istemcinin istediği betiğin söz dizimi JavaScript’deki gibi HTML kodunun içerisinde görünmez.

PHP’nin Perl gibi betik dillerinden en önemli farkı HTML içine gömülebilmesidir.

Kaynak: PHPKaynak.com

Özel hata sayfaları

.htaccess içine alt taraftaki kodları eklediğinizde ; sitenizde, normalde hata vermesi gereken sayfalar, olmayan sayfalar vs hata.php sayfasına yönlenecektir.

ErrorDocument 400 /hata.php
ErrorDocument 401 /hata.php
ErrorDocument 403 /hata.php
ErrorDocument 404 /hata.php
ErrorDocument 500 /hata.php

Sitenizdeki herhangi bir dosyanın, başka sitelerden indirilmesini yasaklama

RewriteEngine on

#referer i kontrol edelim

RewriteCond %{HTTP_REFERER} !^http://(www.)?livedjmix.com(/)?.*$ [NC]

#bizim siteden değilse belirttiğimiz uzantıları isteyenleri “yassak_hemserim.php” ye gonderelim.

RewriteRule .*.(gif|jpg|jpeg|bmp|rar|mp3|zip)$ http://www.livedjmix.com/yassak_hemserim.php [R,NC]

Zararlı robot, spyder, download programları, offline explorer ve teleport gibi yazılımlardan korunma.
Sitenizi teleport gibi programlarla indirmeye çalıştıklarında, sizin sitenizi değil, download.com u indirirler

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR]

RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]

RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^Black.Hole [OR]

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]

RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR]

RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR]

RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR]

RewriteCond %{HTTP_USER_AGENT} ^Bullseye [OR]

RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [OR]

RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [OR]

RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]

RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]

RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR]

RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR]

RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]

RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]

RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]

RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder [OR]

RewriteCond %{HTTP_USER_AGENT} ^Download Demon [OR]

RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]

RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]

RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]

RewriteCond %{HTTP_USER_AGENT} ^EroCrawler [OR]

RewriteCond %{HTTP_USER_AGENT} ^Express WebPictures [OR]

RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]

RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]

RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]

RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR]

RewriteCond %{HTTP_USER_AGENT} ^FrontPage [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]

RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]

RewriteCond %{HTTP_USER_AGENT} ^Googlebot-Image [OR]

RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]

RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]

RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]

RewriteCond %{HTTP_USER_AGENT} ^Harvest [OR]

RewriteCond %{HTTP_USER_AGENT} ^hloader [OR]

RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]

RewriteCond %{HTTP_USER_AGENT} ^httplib [OR]

RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR]

RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR]

RewriteCond %{HTTP_USER_AGENT} ^Image Stripper [OR]

RewriteCond %{HTTP_USER_AGENT} ^Image Sucker [OR]

RewriteCond %{HTTP_USER_AGENT} ^Indy Library [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR]

RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]

RewriteCond %{HTTP_USER_AGENT} ^Internet Ninja [OR]

RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]

RewriteCond %{HTTP_USER_AGENT} ^JOC Web Spider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Kenjin.Spider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Keyword.Density [OR]

RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]

RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^LexiBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^libWeb/clsHTTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR]

RewriteCond %{HTTP_USER_AGENT} ^LinkScan/8.1a.Unix [OR]

RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR]

RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mass Downloader [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari [OR]

RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR]

RewriteCond %{HTTP_USER_AGENT} ^MIDown tool [OR]

RewriteCond %{HTTP_USER_AGENT} ^MIIxpc [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mister.PiX [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mister PiX [OR]

RewriteCond %{HTTP_USER_AGENT} ^moget [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/2 [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/3.Mozilla/2.01 [OR]

RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT [OR]

RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]

RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetMechanic [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Net Vampire [OR]

RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]

RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR]

RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline.Explorer [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline Explorer [OR]

RewriteCond %{HTTP_USER_AGENT} ^Offline Navigator [OR]

RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR]

RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]

RewriteCond %{HTTP_USER_AGENT} ^Papa Foto [OR]

RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]

RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]

RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot/2.14 [OR]

RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]

RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]

RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR]

RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]

RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey [OR]

RewriteCond %{HTTP_USER_AGENT} ^RMA [OR]

RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]

RewriteCond %{HTTP_USER_AGENT} ^SlySearch [OR]

RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]

RewriteCond %{HTTP_USER_AGENT} ^SpankBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^spanner [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]

RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]

RewriteCond %{HTTP_USER_AGENT} ^suzuran [OR]

RewriteCond %{HTTP_USER_AGENT} ^Szukacz/1.4 [OR]

RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teleport [OR]

RewriteCond %{HTTP_USER_AGENT} ^Teleport Pro [OR]

RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR]

RewriteCond %{HTTP_USER_AGENT} ^The.Intraformant [OR]

RewriteCond %{HTTP_USER_AGENT} ^TheNomad [OR]

RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^Titan [OR]

RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR]

RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR]

RewriteCond %{HTTP_USER_AGENT} ^True_Robot [OR]

RewriteCond %{HTTP_USER_AGENT} ^turingos [OR]

RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot/1.5 [OR]

RewriteCond %{HTTP_USER_AGENT} ^URLy.Warning [OR]

RewriteCond %{HTTP_USER_AGENT} ^VCI [OR]

RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebBandit [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebEnhancer [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebGo IS [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web.Image.Collector [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web Image Collector [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website eXtractor [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website.Quester [OR]

RewriteCond %{HTTP_USER_AGENT} ^Website Quester [OR]

RewriteCond %{HTTP_USER_AGENT} ^Webster.Pro [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]

RewriteCond %{HTTP_USER_AGENT} ^Web Sucker [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]

RewriteCond %{HTTP_USER_AGENT} ^WebZip [OR]

RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]

RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]

RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [OR]

RewriteCond %{HTTP_USER_AGENT} ^WWW-Collector-E [OR]

RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]

RewriteCond %{HTTP_USER_AGENT} ^Xaldon WebSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ^Xenu’s [OR]

RewriteCond %{HTTP_USER_AGENT} ^Zeus

RewriteRule ^(.*)$ http://www.download.com/

Kullandığı yapılar:
-XHTML(veya HTML) ve CSS.
-Javascript yoluyla uygulanan Dosya Obje Modeli.
-Sunucu’dan asenkronize veri alışverişi için IFrame ve XMLHttpRequest yapıları.

DHTML,LAMP veya SPA gibi AJAX kendi başına bir teknoloji değil bir grup
teknolojinin bir arada kullanılmasıdır.

Tarihi
Asenkronize yöntemlerin ilk örneği XMLHttpRequest ortaya çıkmadan Microsoft tarafından yapılan ve Java applet benzeri bir yapı kullanan Remote Scripting’dir.
2002′de özgür yazılım modifiyesiyle AJAX ortaya çıktı.2003′te de bu teknoloji ASP.Net’e de eklendi.

Avantajlar, Dezavantajlar ve Özellikler

Avantajlar:
-Uygulamalar kullanıcının bilgisayarında çalıştığı için network performansı
etkilenmez.
-Sunucu daha çok kullanıcıya cevap verebilir çünkü kullanıcı başına daha az
istek cevaplamak zorunda kalır.
-Sunucu işlemciyi daha az kullanır.
-Tamamen HTML kullanan yapılara oranla ağ daha az kullanılır.
-Taşınabilirlik.

Dezavantajlar:
-Browser’daki geri tuşunun içeriğinin Ajax ile tutulması mümkün değil.
-Geliştirme araçları sınırlı(aslında çoğu özgür yazılım üzerine).
-Kullanıcıda JavaScript olmak zorunda.

Ajax’ı Destekleyen Browserlar
-Apple Safari 1.2 ve üstü.
-Konqueror
-Microsoft Internet Explorer 5.0 ve üstü.
-Mozilla Firefox 1.0 ve üstü.
-Netscape 6.0 ve üstü.
-Opera 7.6 ve üstü.
-Opera Mobile Browser 8.0 ve üstü.

Çoğu kişinin ismine bakarak HTML’in bir alternatifi olduğunu sanmasının aksine DHTML aslında soyut bir kavramdan başka bir şey değildir! Yani kendi içinde bütünlüğü ve kuralları olan HTML gibi bir kodlama (mark-up) dili ya da JavaScript gibi bir program dili değildir. Tamamen farklı kullanıcı-tarafı teknolojileri olan HTML, CSS ve JavaScript’in belirli bir anlamda ve birbirleriyle dayanışma içerisinde kullanıldığı bir ‘yöntem’den başka bir şey değildir. Dolayısı ile DHTML teknolojisi diye hitap edilen sanal kavram aslında DHTML metodunun kullandığı HTML, CSS ve JavaScript teknolojilerinin bütününe verilen addır. Bu teknolojilerin her biri farklı
bir amaç doğrultusunda geliştirilmiş ve birbirinden farklı konularda güçleri olan web standartlarıdırlar. DHTML ile yapmaya çalıştığımız iş ise bu teknolojilerin her birini özgün bir şekilde birbirleriyle etkileşim içerisinde kullanarak, web sayfaları üzerinde, bu teknolojilerin sahip oldukları güçlerin bileşkesinden dahi daha büyük bir kontrol gücü oluşturmaktır.

DHTML nedir?

a.. Belirli teknolojilerin birbirleriyle dayanışma içinde kullanıldığı bir yöntem’dir.
a.. Geleneksel HTML sayfalarına görsel ve işlevsel açıdan zenginlik katan bir metoddur. Bizzat normal HTML sayfalarına eklenirler.
a.. Kullanıcı-tarafı teknolojilerini (HTML, CSS ve JavaScript) kullanır.
a.. Tarayıcı-özgün çalışır.
a.. Henüz yeni web standartı olmuş bir teknolojidir.
a.. Bedavadır.

DHTML ne değildir?

a.. Kendine özgü bütünlüğü ve kuralları olan bir kodlama ya da program dili değildir.
a.. HTML’in bir alternatifi değildir.
a.. Sunucu-tarafı teknolojisi değildir.
a.. Eski model web tarayıcılarının da halen kullanıldığını düşünürsek her tarayıcıda aynı şekilde çalışan bağımsız bir uygulama değildir.
a.. Geliştirme ve çalıştırma için ekstra bir yazılıma ihtiyaç yoktur. Hiç bir firmanın tekelinde değildir.

İnternet erişiminiz, telefon hattınızdan, internet servis sağlayıcınıza ulaşana kadar, aşağıdaki faktörlerden etkilenir.

ADSL Modem/Router’ın performansı
Kullandığınız cihazın performansı, ADSL erişiminizin hızı ve kesintisizliğini etkiler.

Telefon hattının kalitesi
Telefon hattı ADSL erişiminin kalitesini belirleyen en önemli etkenlerden biridir. Telefon hattı olarak döşenmiş olan bakır kablo, ince bir kablo ise aynı anda daha az veri taşınabilecektir. Kabloda olabilecek etkileşimlerden ya da başka sebeplerden kaynaklı gürültüler, ADSL erişiminin yavaşlamasına ya da sağlanamamasına sebep olabilir. Eğer sıklıkla kopmalar olan bir kablo ise, telefonunuzla birlikte ADSL’inizde de kesintiler yaşanacaktır.

Telefon santrallerindeki yoğunluk
Telefon santrallerindeki yoğunluk, abonenin veri trafiği, internet servis sağlayıcının internet bulutuna ulaşamadan sıkışmasına ve yeterli veriyi sağlayamamasına sebep olur.

Telefon santraline uzaklık
ADSL, uzaklık arttıkça hızın azaldığı bir iletişim teknolojidir. İdeal koşullarda, merkezi cihazların kurulu bulunduğu santralden 5.5 km mesafe uzaklığa kadar, 512 Kpbs’ye kadar hızlarda ADSL sağlanabilmektedir.

Telefon santrallerinde kurulu merkezi ADSL cihazlarının performansı
Kullanılan merkezi cihazların performansı, ADSL erişiminizin hızı ve kesintisizliğini etkiler.

İnternet Servis Sağlayıcının Kalitesi
Hizmet aldığınız servis sağlayıcının karasal ve uydu internet çıkış kapasiteleri internet erişiminizin performansını etkiler.

Kullandığınız Bilgisayarın Durumu
Bütün bunların yanında, kullanmakta olduğunuz bilgisayarın konfigürasyonu ve durumu da internet kullanımınızı etkiler. Örneğin, bilgisayarınıza interneti kullanan bir virüs bulaşmışsa, bu virüs programla internetinizi paylaşmak durumunda kalacağınızdan, kullanım hızınız düşer.

ADSL erişimi ile 7 gün 24 saat internete bağlı kalırken, internet kullanımından dolayı telefon faturası ödemezsiniz. Böylece, telefon faturanız için kaygılanmadan internetin keyfini çıkartabilirsiniz.

Meşgul Olmayan Telefon Hattı

ADSL ile internete bağlı iken aynı anda telefon görüşmelerinizi de yapabilirsiniz. Telefonunuz meşgul olmaz.

Hızlı İnternet

ADSL ile dial-up’a göre çok yüksek hızlarda veri gönderebilirsiniz. Hızınız çoğu İnternet Servis Sağlayıcı tarafından 128/32 Kpbs, 256/64 Kpbs, 512/128 Kpbs gibi alternatiflerle sunulmaktadır. Bu hız gösteriminde ilk rakam veri alım hızınızı, ikinci rakam veri gönderim hızınızı ifade etmektir.

Bir proxy servisi (sunucusu), sizin adınıza (proxy’nin kelime anlamı VEKİL’dir) sizden aldığı “internet’ten bilgi alma” isteklerini yürütür ve sonucu yine size iletir. Ancak, aynı anda, bu bilgilerin bir kopyası da (cache),bu proxy sunucusu üzerinde tutulur ve bir dahaki erişimde kullanıcının istediği bilgiler doğrudan ilgili siteden değil de, proxy servisinden gelir; dolayısıyla, iletişim daha hızlı olur. Internet’e erişim için mutlaka bir proxy servisine ihtiyaç yoktur, ancak, size en yakın bir servis noktasındaki proxy servisini kullanmanız, internet erişiminizi birhayli hızlandıracaktır. Özellikle evinizden modemle internete erişiyorsanız, proxy servislerini kullanmanız performansınızı arttırır. Çünkü, istediğiniz bilgileri, dış bağlantı hızı daha fazla olan proxy bilgisayarı sizin adınıza alır, siz de kişisel bağlantınızla bu bilgilere daha hızlı erişmiş olursunuz.
Firewall-güvenlik sistemlerinin kullanıldığı yerlerde, kullanıcıları çıkışları tek bir makine üzerinden olabilir. Bu durumda proxy servis makinesi sadece bir aracı olarak çalışır.
Proxy servisi kullanmanın avantajı çoktur. Herhangi bir siteden istediğiniz bir bilgi (web sayfası, ftp dökumanı vb) eğer kullandığınız proxy servisinde henüz depolanmamışsa, bu bilginin olduğu siteden alınır ve size iletilir. Ancak, daha sonra başka bir kullanıcı (ya da siz) aynı dökümanı/bilgiyi istediğinizde, ilgili döküman/bilgi proxy servisinde depolandığı (cache) için, doğrudan oradan size iletilir ve erişiminiz de çok daha hızlı olur.

Proxy servisleri, uluslararası internet bağlantılarındaki yoğunluğu azaltmak, erişimleri hızlandırmak ve ağı daha etkin kullanmak için çok yararlı araçlardır.

Örneğin bedava Web alanı veren bir siteden bir alan aldınız; hazırladığınız Web sayfalarını oluşturan dosyaları bu alana göndermek istiyorsunuz. Bu işlemi, size verilen kullanıcı ismi ve şifrenizi kullanarak ilgili FTP sunucusuna gönderebilirsiniz. Bir kural değildir ancak, genelde Web adresleri www. ile başlarken, FTP sunucu adresleri ftp. ile başlar. Bazı FTP sunucularına sadece belirli kişiler kullanıcı ismi ve şifreyle girebilirler. FTP sunucuları PC’nizde olduğu gibi klasörler şeklinde düzenlenmiştir ve herkesin kullanımına açık olan klasörler genelde pub adlı klasör altında bulunur. Gelişmiş özelliklere sahip bir FTP programının adını vermek gerekirse, CuteFTP’yi örnek gösterebiliriz. FTP sunucularına Web tarayıcı programlarımızla da bağlanabiliriz ama bu iş için özel geliştirilmiş FTP programları daha fazla özellik sunar.

Tüm bu yayınları izlemek/dinlemek için kullanabileceğimiz programlar elbette ücretsiz.

Bu URL üç bölümden oluşur. Soldan sağa okursak:

1) Protokol (http://, ftp://, news: vb.);
2) Alan adı (protokolden, ondan sonraki bölü işaretine kadar olan kısım; www.turkcebilgi.net gibi);
3) Ve dosya yolu (ilk bölü işaretinden sonraki kısım).

Şimdi şu adrese bakalım:

http://www.google.com/about.html

Baştaki http:// bize bunun World Wide Web’de yer alan bir HyperText dosyası olduğunu söyler. www.superonline.com alan adının sonundaki com, bu sitenin ticari bir site olduğunu gösterir. (Bazı adreslerin sonunda tr, uk, jp gibi ülke kodları da görebilirsiniz.) Dosya yolundaki about.html, Web tarayıcınızda, yani ekranda görüntülenecek dosyayı belirler.

Burada bir noktayı belirtmek gerekirse, çoğu Internet yazılımında protokolü elle yazmanıza gerek yoktur. Örneğin İnternet Explorer ve Netscape Communicator’de Web sitelerinin adreslerinin başına “http://” eklemenize, CuteFTP programında “ftp://” eklemenize, veya Outlook Express ve Netscape Messenger’da “news:” eklemenize gerek yoktur; program bunu otomatik ekler.