วิธีเก็บรายชื่อ url จาก google
Posted: Wed Jan 05, 2011 3:36 pm
วิธีเก็บรายชื่อ url จาก google Posted on 8/25/2010 at 9:23:08 PM ที่มา: http://blog.giftgaemall.com/tommy/?p=36" onclick="window.open(this.href);return false;
1. ค้นหาเว็บ pligg โดยหาใน google ด้วยคำนี้ “Powered By Pligg” inurl:”submit.php”
- ค้นใน google เลยครับ ให้แสดงผลทีละ 100 ไปเลย จะเอาไทย ๆ หรือ inter ก็แล้วแต่ครับ
2. เก็บ list ด้วย plugin GreaseMonkey ของ firefox
- code นี้ผมเขียนเอง อาจมี bug ซ่อนอยู่บ้าง - -” ดูวิธีใช้ข้างล่างครับ
3. แปลงเป็น home url ด้วย excel
- A1 ก็ใส่รายการที่ค้นได้จาก google
- B1 ก็ใส่เข้าไปดังนี้ =LEFT(A1,SEARCH(”/”,A1,10)) ก็อปไปทุกบรรทัดก็จะได้ url หน้า home
4. ต่อไปเอา list ที่ได้ไปค้นด้วย plugin SeoQuake ของ firefox
- เปิดไปที่ menu ของ SeoQuake menu นี้ครับ Check/Compare URLs and domain…
- ก็อป list home url ที่ได้มาวาง แล้วค้นเลย
- แต่เดี๋ยวก่อน ท่านสามารถ set preference ได้นะครับ โดยผม set ตรงช่อง LinkInfo ให้แสดง รายการดังนี้
- GooglePageRank, DMOZ, AlexaRank, WebarchiveAge, DomainIP แล้ว save ด้วยนะครับ (รายการบางอย่างมันค้นหาช้ามาก)
- ระวังเครื่องค้าง!!! ผมเคยใส่ทีละ 800 url ยังพอ run ได้ครับแต่ช้ามาก ๆ แต่ใครไม่แน่ใจใส่ทีละน้อย ๆ ก่อนนะครับ
5. ก็อปไปใส่ excel (ผมก็อปลง notepad แล้วก็อป notepad ไปวางใน excel อีกทีถึงได้) save เก็บไว้ใช้ตามต้องการ
- จะเอาไว้กรอง ip เอาไว้เรียงตาม pr หรือยังไงก็แล้วแต่ครับ
- การตัด ip เป็น class c ด้วย excel นะครับ
- A1 ใส่ ip B1 ใส่ดังนี้ =LEFT(A1,SEARCH(”.”,A1,SEARCH(”.”,A1,SEARCH(”.”,A1,1)+1)+1)-1) แล้วก็อปไปทุกบรรทัด
6. นำ list ที่ได้คัดกรองแล้วไป submit และทำ Link Wheel ต่อไป
- เว็บไหน work ไม่ work ต้องลองทำไปทีละเว็บนะครับ แล้วก็ comment ใน excel ไว้ (ใครลองแล้วเว็บไหน work เอามาแบ่งปันกันก็ดีนะครับ - - )
- ถือโอกาสแนะนำ plugin NoDoFollow ของ firefox ไว้ใช้ดู link เป็น no|do follow เผื่อผู้ที่ยังไม่รู้ครับ https://addons.mozilla.org/en-US/firefox/addon/5687" onclick="window.open(this.href);return false;
- หรือใครจะเก็บเป็น imacro ไว้ใช้ในโอกาสต่อไปก็ได้ (ถ้ามีโอกาสโปรเจ็คต่อไปของผมอาจเป็นเรื่อง imacro นี่แหละครับ ตอนนี้เลยจบที่เท่านี้ก่อน)
จากตัวอย่างนี้โหลดได้ที่นี่เลยครับ http://rapidshare.com/files/33" onclick="window.open(this.href);return false;…185/google_pligg_list.zip.html จะได้ไม่ต้องทำเอง (แล้วจะอ่านมาทำไมเนี่ยโหลดทีเดียวเสร็จ - -” เอ่อแต่ถ้าต้องการ google.co.th ต้องทำเองนะครับ)
บางท่านอาจจะค้นใน google ด้วยคำเหล่านี้ก็แล้วแต่เลยครับ
“php link directory” inurl:”submit.php” -”reciprocal”
หรือใครมีคำค้นเด็ด ๆ มาแบ่งปันกัน(หรือเทคนิคเด็ด ๆ) ก็ขอขอบคุณล่วงหน้าเลยครับ
ขอบคุณทุกท่านอีกครั้งที่นำความรู้ดี ๆ มาแบ่งปันกับครับ
Powered By Pligg http://www.thaiseoboard.com/index.php?topic=97296" onclick="window.open(this.href);return false;
GreaseMonkey http://www.thaiseoboard.com/index.php?topic=40078.5" onclick="window.open(this.href);return false;
GreaseMonkey http://www.thaiseoboard.com/index.php?topic=89835.0" onclick="window.open(this.href);return false;
SeoQuake Check/Compare URLs and domain… http://www.thaiseoboard.com/index.php?topic=86512.0" onclick="window.open(this.href);return false;
Link Wheel http://www.thaiseoboard.com/index.php?topic=85517.0" onclick="window.open(this.href);return false;
และอื่น ๆ อีกมากที่ไม่ได้เอ่ยถึงนะครับ
raptor:
เก็บ url ใน google ด้วย GreaseMonkey
ลง GreaseMonkey จากที่นี่เลย https://addons.mozilla.org/en-US/firefox/addon/748" onclick="window.open(this.href);return false;
ลงเสร็จ restart firefox ขึ้นมาใหม่จะเห็น icon เจ้าลิงตัวนี้ที่มุมขวาล่างครับ
คลิกขวาที่ icon ลิงนั้นเลยครับแล้วเลือก
> New User Script…
จะขึ้น popup ขึ้นมา
ตรงช่อง Name ใส่ว่า google_url (หรือชื่ออื่นก็ได้แล้วแต่)
ตรงช่อง Includes (One per line) ใส่ว่า
โค๊ด:
http://www.google.*/*" onclick="window.open(this.href);return false;
แล้วกด ok
มันจะเปิด editer ให้ครับพร้อมมี code ส่วนหัวให้ด้วย
ให้ก็อป code ต่อไปนี้ไปทับได้เลยครับ ตามนี้
โค๊ด:
// ==UserScript==
// @name google_url
// @namespace c:\
// @description get google url
// @include google.com
// ==/UserScript==
var include_jq = document.createElement(’script’);
include_jq.src = ‘http://ajax.googleapis.com/ajax/libs/jq ... /jquery.js’;
include_jq.type = ‘text/javascript’;
document.getElementsByTagName(’head’)[0].appendChild(include_jq);
function include_jq_wait() {
if(typeof unsafeWindow.jQuery == ‘undefined’) { window.setTimeout(include_jq_wait, 100); }
else { $ = unsafeWindow.jQuery; main(); }
}
include_jq_wait();
// — Coding Here — //
function CreateBox(){
$(”
TSB_GetUrl
“).prependTo(document.body);
$(”div#jqprocess”).css({
“color” : “blue”,
“border” : “outset blue 2px”,
“width” : “100px”,
“text-align” : “center”,
“cursor” : “pointer”,
“background-color” : “white”
});
$(”div#jqprocess”).hover(function(even){
$(”div#jqprocess”).css(”background-color”,”gray”);
}, function(even){
$(”div#jqprocess”).css(”background-color”,”white”);
});
$(”div#jqprocess”).click(function(even){
htmlPopup();
});
}
function get_google(){
doc = document;
output = “”;
str_ret = “google null!”;
num = 0;
$(doc).find(”h3″).each(function(i) {
$(this).find(”a”).each(function(i) {
str = $(this).attr(”href”);
if(str!=null){
if(str.substring(”http://”.length, 0)==”http://”) {
num++;
output += str + “
\n”;
}
}
});
});
// str_ret = “google : [” + num + “]
\n” + output;
str_ret = output;
return str_ret;
}
function htmlPopup(){
var data = “”;
if (window.location.href.indexOf(”www.google”)!=-1) data = get_google();
var html = “”;
var generator = window.open(”, ‘name’, ‘location=1,status=1,scrollbars=1,height=auto,width=800′);
html = “
” + data + “
“;
html = data;
generator.document.write(html);
}
function main(){
if (window.location.href.indexOf(”www.google”)!=-1) CreateBox();
}
เสร็จแล้ว save แล้วปิด editer ไป
กลับมาที่ firefox ให้ set GreaseMonkey ให้มัน enabled นะครับ
คือ คลิกซ้ายทีนึงที่ icon ลิง มันจะ enabled พอคลิกอีกทีมันจะ disabled ครับ เปิดปิดได้ครับ
แล้วเข้า google ดู ถ้าเห็นปุ่มที่มุมบนซ้าย เขียนว่า TSB_GetUrl ก็เป็นอันใช้ได้
ลอง ค้นหาอะไรก็ได้ครับ แล้วกดปุ่มนั้นเลยครับ TSB_GetUrl แล้วมันจะมี window ใหม่ขึ้นมาเป็น list เฉพาะ url ที่ค้นได้จากหน้านั้นครับ เสร็จ.
ปล. ใครมี idea ดี ๆ พอแก้ javascript กับ jquery ได้ ก็แก้เพื่อใช้เก็บข้อมูลในเว็บอื่น ๆ ที่ต้องการ ก็ช่วยให้ง่ายขึ้นครับ
site:ac.th “powered by smf”
inurl:”wp-signup.php”
“php link directory” inurl:”submit.php” -”reciprocal”
reciprocal หมายถึง
แลก เปลี่ยน คงหมายถึง การแลกลิงค์กันมั้งครับ แบบว่า เราไปฝากลิ้งค์เขาไว้ ก็ต้องเอาลิงค์เขามาแปะ เพื่อยืนยันการส่งค์ลิงค์ลง directory ประมาณนั้น
ขอสรุปประเด็นนิดนึงครับ มันมีหลายเรื่องเลยทำให้ดูงง ๆ จริง ๆ หลักการมันก็มีแค่
1. การหาเว็บและหน้าเว็บที่มีข้อมูลเจ๋ง ๆ โดยเฉพาะที่ google ครับมีข้อมูลเจ๋ง ๆ อยู่เยอะมาก
2. การดึงข้อมูลเฉพาะที่สนใจในหน้านั้นออกมา ในที่นี้เก็บแบบทีละหน้าโดยใช้ เจ้าลิง(บางทีผมใช้ jetpack ก็ไม่ต่างอะไรแค่มันลง clipboard ให้เลย) + javascript + jquery แต่ถ้าจะดึงเยอะ ๆ แบบ auto ก็ใช้ php หรืออะไรก็ว่ากันไปครับ
(ตรงนี้ต้องเขียนโปรแกรมนิดนึงนะครับ แต่ถ้าเขียนไม่ผ่านยังไงก็ถามในนี้แหละครับมีท่านที่เก่ง ๆ อยู่เยอะ)
3. การเก็บข้อมูลลง excel+notepad ไม่ต้องบอกเลยครับว่า excel ใช้ทำอะไรได้บ้างก็รู้กันดีอยู่แล้วนอกจากบวกลบเก็บเรียงข้อมูล
ใน ที่นี้ผมใช้ช่วยในการจัดการ ข้อความ ซึ่งจะเห็นว่ามันก็ทำได้ดี สะดวก รวดเร็ว ไม่ต้องเขียนโปรแกรมให้วุ่นวายเลยครับ แต่ต้องรู้ function มันนิดหน่อย
จริง ๆ ในตัวอย่างนี้ ถ้าเขียนใน javascript (เก็บ full url) ให้มันตัดข้อความ(ตัดเป็น home url) ให้เลยก็ได้ครับแต่ผมไม่ทำครับกลัวข้อมูลดิบมันจะหายไปเลยให้ตัดเอาเองใน excel ดีกว่า - -”
(ขอบอกว่าใช้ excel เพียงตัวเดียวก็สามารถใช้เขียนเป็นโปรแกรมสำเร็จรูปเล็ก ๆ ง่าย ๆ ได้เลยนะครับ gui.xls+vba, data.xls+excel_sql, report001.xls)
4. การใช้ seo quake และ plugin ตัวอื่น ๆ ของ firefox ช่วยจัดการงานด้าน seo ให้ง่ายขึ้นครับ
- SeoQuake, Greasemonkey, Imacro, NoDoFollow … เพียบ
1. ค้นหาเว็บ pligg โดยหาใน google ด้วยคำนี้ “Powered By Pligg” inurl:”submit.php”
- ค้นใน google เลยครับ ให้แสดงผลทีละ 100 ไปเลย จะเอาไทย ๆ หรือ inter ก็แล้วแต่ครับ
2. เก็บ list ด้วย plugin GreaseMonkey ของ firefox
- code นี้ผมเขียนเอง อาจมี bug ซ่อนอยู่บ้าง - -” ดูวิธีใช้ข้างล่างครับ
3. แปลงเป็น home url ด้วย excel
- A1 ก็ใส่รายการที่ค้นได้จาก google
- B1 ก็ใส่เข้าไปดังนี้ =LEFT(A1,SEARCH(”/”,A1,10)) ก็อปไปทุกบรรทัดก็จะได้ url หน้า home
4. ต่อไปเอา list ที่ได้ไปค้นด้วย plugin SeoQuake ของ firefox
- เปิดไปที่ menu ของ SeoQuake menu นี้ครับ Check/Compare URLs and domain…
- ก็อป list home url ที่ได้มาวาง แล้วค้นเลย
- แต่เดี๋ยวก่อน ท่านสามารถ set preference ได้นะครับ โดยผม set ตรงช่อง LinkInfo ให้แสดง รายการดังนี้
- GooglePageRank, DMOZ, AlexaRank, WebarchiveAge, DomainIP แล้ว save ด้วยนะครับ (รายการบางอย่างมันค้นหาช้ามาก)
- ระวังเครื่องค้าง!!! ผมเคยใส่ทีละ 800 url ยังพอ run ได้ครับแต่ช้ามาก ๆ แต่ใครไม่แน่ใจใส่ทีละน้อย ๆ ก่อนนะครับ
5. ก็อปไปใส่ excel (ผมก็อปลง notepad แล้วก็อป notepad ไปวางใน excel อีกทีถึงได้) save เก็บไว้ใช้ตามต้องการ
- จะเอาไว้กรอง ip เอาไว้เรียงตาม pr หรือยังไงก็แล้วแต่ครับ
- การตัด ip เป็น class c ด้วย excel นะครับ
- A1 ใส่ ip B1 ใส่ดังนี้ =LEFT(A1,SEARCH(”.”,A1,SEARCH(”.”,A1,SEARCH(”.”,A1,1)+1)+1)-1) แล้วก็อปไปทุกบรรทัด
6. นำ list ที่ได้คัดกรองแล้วไป submit และทำ Link Wheel ต่อไป
- เว็บไหน work ไม่ work ต้องลองทำไปทีละเว็บนะครับ แล้วก็ comment ใน excel ไว้ (ใครลองแล้วเว็บไหน work เอามาแบ่งปันกันก็ดีนะครับ - - )
- ถือโอกาสแนะนำ plugin NoDoFollow ของ firefox ไว้ใช้ดู link เป็น no|do follow เผื่อผู้ที่ยังไม่รู้ครับ https://addons.mozilla.org/en-US/firefox/addon/5687" onclick="window.open(this.href);return false;
- หรือใครจะเก็บเป็น imacro ไว้ใช้ในโอกาสต่อไปก็ได้ (ถ้ามีโอกาสโปรเจ็คต่อไปของผมอาจเป็นเรื่อง imacro นี่แหละครับ ตอนนี้เลยจบที่เท่านี้ก่อน)
จากตัวอย่างนี้โหลดได้ที่นี่เลยครับ http://rapidshare.com/files/33" onclick="window.open(this.href);return false;…185/google_pligg_list.zip.html จะได้ไม่ต้องทำเอง (แล้วจะอ่านมาทำไมเนี่ยโหลดทีเดียวเสร็จ - -” เอ่อแต่ถ้าต้องการ google.co.th ต้องทำเองนะครับ)
บางท่านอาจจะค้นใน google ด้วยคำเหล่านี้ก็แล้วแต่เลยครับ
“php link directory” inurl:”submit.php” -”reciprocal”
หรือใครมีคำค้นเด็ด ๆ มาแบ่งปันกัน(หรือเทคนิคเด็ด ๆ) ก็ขอขอบคุณล่วงหน้าเลยครับ
ขอบคุณทุกท่านอีกครั้งที่นำความรู้ดี ๆ มาแบ่งปันกับครับ
Powered By Pligg http://www.thaiseoboard.com/index.php?topic=97296" onclick="window.open(this.href);return false;
GreaseMonkey http://www.thaiseoboard.com/index.php?topic=40078.5" onclick="window.open(this.href);return false;
GreaseMonkey http://www.thaiseoboard.com/index.php?topic=89835.0" onclick="window.open(this.href);return false;
SeoQuake Check/Compare URLs and domain… http://www.thaiseoboard.com/index.php?topic=86512.0" onclick="window.open(this.href);return false;
Link Wheel http://www.thaiseoboard.com/index.php?topic=85517.0" onclick="window.open(this.href);return false;
และอื่น ๆ อีกมากที่ไม่ได้เอ่ยถึงนะครับ
raptor:
เก็บ url ใน google ด้วย GreaseMonkey
ลง GreaseMonkey จากที่นี่เลย https://addons.mozilla.org/en-US/firefox/addon/748" onclick="window.open(this.href);return false;
ลงเสร็จ restart firefox ขึ้นมาใหม่จะเห็น icon เจ้าลิงตัวนี้ที่มุมขวาล่างครับ
คลิกขวาที่ icon ลิงนั้นเลยครับแล้วเลือก
> New User Script…
จะขึ้น popup ขึ้นมา
ตรงช่อง Name ใส่ว่า google_url (หรือชื่ออื่นก็ได้แล้วแต่)
ตรงช่อง Includes (One per line) ใส่ว่า
โค๊ด:
http://www.google.*/*" onclick="window.open(this.href);return false;
แล้วกด ok
มันจะเปิด editer ให้ครับพร้อมมี code ส่วนหัวให้ด้วย
ให้ก็อป code ต่อไปนี้ไปทับได้เลยครับ ตามนี้
โค๊ด:
// ==UserScript==
// @name google_url
// @namespace c:\
// @description get google url
// @include google.com
// ==/UserScript==
var include_jq = document.createElement(’script’);
include_jq.src = ‘http://ajax.googleapis.com/ajax/libs/jq ... /jquery.js’;
include_jq.type = ‘text/javascript’;
document.getElementsByTagName(’head’)[0].appendChild(include_jq);
function include_jq_wait() {
if(typeof unsafeWindow.jQuery == ‘undefined’) { window.setTimeout(include_jq_wait, 100); }
else { $ = unsafeWindow.jQuery; main(); }
}
include_jq_wait();
// — Coding Here — //
function CreateBox(){
$(”
TSB_GetUrl
“).prependTo(document.body);
$(”div#jqprocess”).css({
“color” : “blue”,
“border” : “outset blue 2px”,
“width” : “100px”,
“text-align” : “center”,
“cursor” : “pointer”,
“background-color” : “white”
});
$(”div#jqprocess”).hover(function(even){
$(”div#jqprocess”).css(”background-color”,”gray”);
}, function(even){
$(”div#jqprocess”).css(”background-color”,”white”);
});
$(”div#jqprocess”).click(function(even){
htmlPopup();
});
}
function get_google(){
doc = document;
output = “”;
str_ret = “google null!”;
num = 0;
$(doc).find(”h3″).each(function(i) {
$(this).find(”a”).each(function(i) {
str = $(this).attr(”href”);
if(str!=null){
if(str.substring(”http://”.length, 0)==”http://”) {
num++;
output += str + “
\n”;
}
}
});
});
// str_ret = “google : [” + num + “]
\n” + output;
str_ret = output;
return str_ret;
}
function htmlPopup(){
var data = “”;
if (window.location.href.indexOf(”www.google”)!=-1) data = get_google();
var html = “”;
var generator = window.open(”, ‘name’, ‘location=1,status=1,scrollbars=1,height=auto,width=800′);
html = “
” + data + “
“;
html = data;
generator.document.write(html);
}
function main(){
if (window.location.href.indexOf(”www.google”)!=-1) CreateBox();
}
เสร็จแล้ว save แล้วปิด editer ไป
กลับมาที่ firefox ให้ set GreaseMonkey ให้มัน enabled นะครับ
คือ คลิกซ้ายทีนึงที่ icon ลิง มันจะ enabled พอคลิกอีกทีมันจะ disabled ครับ เปิดปิดได้ครับ
แล้วเข้า google ดู ถ้าเห็นปุ่มที่มุมบนซ้าย เขียนว่า TSB_GetUrl ก็เป็นอันใช้ได้
ลอง ค้นหาอะไรก็ได้ครับ แล้วกดปุ่มนั้นเลยครับ TSB_GetUrl แล้วมันจะมี window ใหม่ขึ้นมาเป็น list เฉพาะ url ที่ค้นได้จากหน้านั้นครับ เสร็จ.
ปล. ใครมี idea ดี ๆ พอแก้ javascript กับ jquery ได้ ก็แก้เพื่อใช้เก็บข้อมูลในเว็บอื่น ๆ ที่ต้องการ ก็ช่วยให้ง่ายขึ้นครับ
site:ac.th “powered by smf”
inurl:”wp-signup.php”
“php link directory” inurl:”submit.php” -”reciprocal”
reciprocal หมายถึง
แลก เปลี่ยน คงหมายถึง การแลกลิงค์กันมั้งครับ แบบว่า เราไปฝากลิ้งค์เขาไว้ ก็ต้องเอาลิงค์เขามาแปะ เพื่อยืนยันการส่งค์ลิงค์ลง directory ประมาณนั้น
ขอสรุปประเด็นนิดนึงครับ มันมีหลายเรื่องเลยทำให้ดูงง ๆ จริง ๆ หลักการมันก็มีแค่
1. การหาเว็บและหน้าเว็บที่มีข้อมูลเจ๋ง ๆ โดยเฉพาะที่ google ครับมีข้อมูลเจ๋ง ๆ อยู่เยอะมาก
2. การดึงข้อมูลเฉพาะที่สนใจในหน้านั้นออกมา ในที่นี้เก็บแบบทีละหน้าโดยใช้ เจ้าลิง(บางทีผมใช้ jetpack ก็ไม่ต่างอะไรแค่มันลง clipboard ให้เลย) + javascript + jquery แต่ถ้าจะดึงเยอะ ๆ แบบ auto ก็ใช้ php หรืออะไรก็ว่ากันไปครับ
(ตรงนี้ต้องเขียนโปรแกรมนิดนึงนะครับ แต่ถ้าเขียนไม่ผ่านยังไงก็ถามในนี้แหละครับมีท่านที่เก่ง ๆ อยู่เยอะ)
3. การเก็บข้อมูลลง excel+notepad ไม่ต้องบอกเลยครับว่า excel ใช้ทำอะไรได้บ้างก็รู้กันดีอยู่แล้วนอกจากบวกลบเก็บเรียงข้อมูล
ใน ที่นี้ผมใช้ช่วยในการจัดการ ข้อความ ซึ่งจะเห็นว่ามันก็ทำได้ดี สะดวก รวดเร็ว ไม่ต้องเขียนโปรแกรมให้วุ่นวายเลยครับ แต่ต้องรู้ function มันนิดหน่อย
จริง ๆ ในตัวอย่างนี้ ถ้าเขียนใน javascript (เก็บ full url) ให้มันตัดข้อความ(ตัดเป็น home url) ให้เลยก็ได้ครับแต่ผมไม่ทำครับกลัวข้อมูลดิบมันจะหายไปเลยให้ตัดเอาเองใน excel ดีกว่า - -”
(ขอบอกว่าใช้ excel เพียงตัวเดียวก็สามารถใช้เขียนเป็นโปรแกรมสำเร็จรูปเล็ก ๆ ง่าย ๆ ได้เลยนะครับ gui.xls+vba, data.xls+excel_sql, report001.xls)
4. การใช้ seo quake และ plugin ตัวอื่น ๆ ของ firefox ช่วยจัดการงานด้าน seo ให้ง่ายขึ้นครับ
- SeoQuake, Greasemonkey, Imacro, NoDoFollow … เพียบ