Nói tới Python thì mình cũng mới chân ướt chân ráo vào với nó, nhưng Python làm mình cảm thấy thích khi làm việc với ngôn ngữ này, đặc biệt là gói requests và beautiful soup.
Tại sao mình lại thích thú với mấy package này? nguyên căn là trên công ty mình cần một tool nho nhỏ cho các tester có thể call API lên server và lấy các data trả về thay vì dùng POSTMAN extension app của Chrome (cái này chắc mọi người cũng biết nó là gì rùi hen), vì các API có 1 parameter cực độc là Signature được generate ra từ những param được truyền vào theo một thuật toán độc quyền của các bác trên cty, do đó xài POSTMAN thì các bạn tester phải cực nhọc đi generate cái signature rồi truyền vào. Vậy là mình dấn thân vào Python và request package – script python đơn giản, dễ đọc, dễ hiểu, còn requests package thì support gần như đủ cả rồi, cứ thế mà xài. Còn beaturiful soup, nguyên nhân cũng chỉ vì đống HTML bùi nhùi và cần phải parse ra lấy dữ liệu mà thôi
Và mình đã sử dụng ra sao ? thui tạm gác cái source trên cty lại nha, public ra bị chém chít. Mình về với 1 cái tool nho nhỏ để chôm truyện tranh về máy đọc (mình thích đọc offline hơn là online).
Nguồn mình lấy truyện là manga24h, và ở Manga24h thì 1 truyện sẽ có cấu trúc site :
Page truyện – list tất cả các chapter link
Chapter 1
Image 1
Image 2
…
Chapter 2
Image 1
Image 2
…
Như vậy mình muốn lấy truyện nào đó từ 1 link truyện như : http://manga24h.com/4160/Love-Riron.html thì mình cần phải lấy danh sách các chapter, sau đó vào từng chapter, lấy danh sách các file hình, và rồi download các file đó về.
OK, requirement sơ sơ là như vậy, giờ chuyển qua vọc code với các vấn đề
Mình cần open 1 request method GET tới cái page truyện : http://manga24h.com/4160/Love-Riron.html hoặc chapter page
Mình cần parse HTML từ dữ liệu ở 1 và lấy cụ thể link chapter hay link image
Mình cần download file và store về ổ cứng
Thưởng thức thành quả
Giải quyết đống vấn đề với coding thoai:
requests package cung cấp 1 method đơn giản là get và bạn chỉ cần truyền vào param là cái URL :
response = requests.get(url)
và còn nhiều nhiều nữa các method khác, các bạn có thể tham khảo thêm ở : http://docs.python-requests.org/en/master/
Beautiful soup sẽ giúp bạn điều này, sau khi bạn làm với step 1 thì bạn sẽ có 1 object và attributes text chính là đống HTML bạn nhận được từ web server, việc cần làm là cho nó “beautiful” lên với
parsed_html = BeautifulSoup(response.text)
Sau đó thì các bạn có thể tự do di chuyển trong trong cái đống HTML đã được parse bằng cách select các node và hoặc lấy các attribute value của node document thì cực kì dễ hiểu : https://www.crummy.com/software/BeautifulSoup/bs4/doc/
Download file thì cực kì đơn giản nữa, gói request hỗ trợ luôn
response = requests.get(fileURL, stream=True)
cũng là method get thôi, nhưng cái quan trọng ở đây chính là stream=True và rồi mình ghi dữ liệu đó xuống file:
#newfilepath = local path to save file
filedata = file(newfilepath,"wb")
for block in response.iter_content(1024):
ifnot block:
break
filedata.write(block)
Thưởng thức thành quả, hmmm đợi chút, có vẻ chưa xong khi các bạn chưa combine chúng nó lại để ra 1 thứ như requirement
defparsing_main_page(mainpageURL):
chapterlist = []
response = requests.get(mainpageURL)
parsed_html = BeautifulSoup(response.text)
#print parsed_html
option_select = parsed_html.find("select", class_ = "form-control")
if option_select isnotNone:
parsed_chapters = option_select.find_all("option",limit=2000)
for chapter in parsed_chapters:
for attr,val in chapter.attrs.iteritems():
if attr == 'value':
chapterlist.append(val)
else:
print"Cannot find manga list"return chapterlist
vào từng chapter, lấy danh sách các file hình – Cái này thì HTML của manga24h ko include trong HTML node mà chứa trong 1 đoạn javascript, phải parse đoạn javascript đó ra và lấy các file hình:
defparsing_chapter_page(chapterURL):
imageList = []
response = requests.get(chapterURL)
parsed_html = BeautifulSoup(response.text)
data_script = parsed_html.find("div",{"id":"wrapAll"}).find_all("script")
for script in data_script:
if script.getText().find('images = new Array();') != -1:
text_data = script.getText()
data_value = re.search("\w*data=('.*').*",text_data)
imageList = data_value.group(1).strip("'").split("|")
return imageList
download các file đó về: imageList là các bạn có list URL các file hình rồi, giờ download và save thì quá đơn giản với hướng dẫn get file và save file ở trên
Trong phần này chúng ta sẽ tìm hiểu về module trong Python.
Module trong Python rất đơn giản, đó là các file chứa code python có đuôi mở rộng là .py. Dùng module là một cách tuyệt vời để quản lý code Python, ngoài module ra thì chúng ta còn có các cách sau:
Dùng Hàm
Dùng Lớp
Dùng Module
Dùng Package
Trong đó quy mô nhỏ nhất là hàm và lớn nhất là Package. Bạn có thể hình dung chúng ta viết hàm để chia nhỏ các công việc ra, sau đó gộp các hàm liên quan với nhau vào một lớp cụ thể, các lớp có liên quan với nhau lại được gộp vào một file làm một module, cứ thế chương trình lớn dần và chúng ta lại gộp các module thành một package. Chúng ta sẽ tìm hiểu về package ở bài sau.
Tên module là tên file có phần mở rộng là .py. Ví dụ như chúng ta có file empty.py thì empty là tên module. Mặc nhiên module này có một biến tên là __name__, biến này lưu trữ tên của module đang được sử dụng. Khi chúng ta viết một file Python rồi chạy thì biến thì tên module của file này được gọi là __main__.
Trong ví dụ dưới đây chúng ta có 2 file: empty.py và modulename.py. Khi chúng ta chạy từ file modulename.py thì file này được gọi là module main. Module main sử dụng module của file empty.py. Để sử dụng một module thì chúng ta dùng từ khóa import.
empty.py
1
2
3
"""
An empty module
"""
modulename.py
1
2
3
4
5
6
importempty
importsys
print(__name__)
print(empty.__name__)
print(sys.__name__)
Trong đoạn code trên chúng ta sử dụng 2 module, thứ nhất là module sys có sẵn trong Python và thứ hai là module empty do chúng ta tự tạo ra. Chúng ta in tên của các module này ra màn hình
modulename.py
1
2
3
__main__
empty
sys
Tên của module main sẽ luôn luôn là __main__. Các module khác sẽ là tên file.
Khi chúng ta import một module nào đó. Trình thông dịch sẽ tìm các module có sẵn trong Python. Nếu không thấy, nó sẽ tìm trong biến sys.path, biến này lưu trữ một list các chuỗi đường dẫn bao gồm đường dẫn đến thư mục hiện tại của file và đường dẫn đến thư mục cài đặt Python cùng với một số thư mục con bên trong. Nếu không tìm thấy module thì báo lỗi ImportError.
syspath.py
1
2
3
4
5
6
7
importsys
importtextwrap
sp =sorted(sys.path)
dnames =', '.join(sp)
print(textwrap.fill(dnames))
Đoạn code trên in ra tất cả các thư mục trong biến sys.path.
1
importtextwrap
Module textwrap dùng để định dạng kiểu hiển thị.
1
sp =sorted(sys.path)
Dòng code trên lấy danh sách các đường dẫn thư mục và sắp xếp chúng.
1
dnames =', '.join(sp)
Sau đó chúng ta nối chúng lại thành một chuỗi, ngăn cách bởi dấu phẩy.
Như chúng ta đã biết từ khóa này được dùng để tích hợp một module vào chương trình.
Cú pháp
1
frommodule import*
Cú pháp trên có ý nghĩa là tích hợp tất cả những gì có trong module vào chương trình của chúng ta ngoại trừ các đối tượng có tên bắt đầu bằng dấu gạch dưới _. Những đối tượng này được sử dụng với tên của module chứ không thể được gọi riêng như những đối tượng khác.
everything.py
1
2
3
4
frommath import*
print(cos(3))
print(pi)
Đoạn code trên tích hợp tất cả các đối tượng có thể sử dụng trong module math vào chương trình. Chúng ta có thể gọi các hàm trong module này một cách trực tiếp chứ không cần phải thông qua tên module.
Output
1
2
-0.9899924966
3.14159265359
Cách import kiểu này có thể làm rối loạn chương trình của chúng ta vì có thể có rất nhiều module trùng tên với nhau, do đó chúng sẽ bị ghi đè.
1
2
3
4
5
6
frommath import*
pi =3.14
print(cos(3))
print(pi)
Đoạn code trên sẽ in ra con số 3.14. Vì trình thông dịch nghĩ rằng chúng ta muốn sử dụng biến pi do chúng ta tự gán chứ không phải biến pi có sẵn trong module math.
Ví dụ dưới đây kiểm nghiệm các hàm không được tích hợp vào chương trình bằng cách sử dụng kiểu import trên.
Biến _version và hàm _show_version() sẽ không được tích hợp vào module private vì tên của chúng có dấu gạch dưới ở đầu. Chúng ta dùng hàm locals() để in ra các module đã được tích hợp.
Kiểu cú pháp trên chỉ tích hợp một số đối tượng được chỉ định vào module của chúng ta.
1
2
3
4
frommath importsin, pi
print(sin(3))
print(pi)
Trong ví dụ trên chúng ta tích hợp 2 đối tượng sin và pi từ module math.
imnames.py
1
2
3
4
fromnames import_version, _show_version
print(_version)
_show_version()
Với kiểu cú pháp này chúng ta có thể tích hợp các module có tên có dấu gạch dưới ở đầu.
Output
1
2
1.0
1.0
Cú pháp
1
importmodule
Cú pháp cuối cùng này là cú pháp được sử dụng nhiều nhất. Bạn có thể dùng tất cả các đối tượng có trong module và để sử dụng thì bạn phải ghi tên module cùng với dấu chấm rồi mới đến tên đối tượng. Nhờ đó mà chương trình của bạn không bị rối tung lên.
widely.py
1
2
3
4
5
6
7
8
importmath
pi =3.14
print(math.cos(3))
print(math.pi)
print(math.sin(3))
print(pi)
Trong ví dụ trên chúng ta import module math. Chúng ta có thể truy xuất được cả biến pi của chúng ta và biến pi trong module math.
Output
1
2
3
4
-0.9899924966
3.14159265359
0.14112000806
3.14
import_alias.py
1
2
3
4
importmath as m
print(m.pi)
print(m.cos(3))
Ngoài ra khi import một module nào đó, bạn có thể muốn dùng một cái tên khác ngắn gọn hơn bằng cách thêm từ khóa as cùng với tên mà bạn muốn dùng. Tên này chỉ có hiệu lực trong file mà bạn đang viết.
Output
1
2
3.14159265359
-0.9899924966
Nếu bạn import sai tên module thì lỗi ImportError sẽ nảy sinh.
import_error.py
1
2
3
4
try:
importempty2
exceptImportError, e:
print('Failed to import:', e)
Trong ví dụ trên, chúng ta không có module nào tên là empty2 do đó trình thông dịch báo lỗi.
Output
1
Failed to import: No module named empty2
Thực thi module
Để sử dụng module thì chúng ta import nó từ chương trình của chúng ta nhưng chúng ta cũng có thể chạy chính nó. Ngoài các module có sẵn trong Python còn có rất nhiều lập trình viên viết các module khác cho Python. Thường thì sau khi viết xong họ hay viết những đoạn code để kiểm tra module của mình ở cuối file.
Chúng ta sẽ kiểm chứng điều này bằng cách viết module in dãy số fibonacci. Dãy số fibbonacci là dãy số mà số thứ i bằng tổng của số thứ i-1 và i-2, ngoại trừ hai số đầu tiên có giá trị là 1.
fibonacci.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
"""
A module containing the fibonacci
function.
"""
deffib(n):
a, b =0, 1
whileb < n:
print(b,)
(a, b) =(b, a +b)
# testing
if__name__ =='__main__':
fib(500)
Chúng ta sẽ chạy module này từ command prompt.
Output
1
1123581321345589144233377
Trong đoạn code trên chúng ta có câu lệnh if để kiểm tra, nếu module được chạy từ trình biên dịch thì nó sẽ tự thực thi câu lệnh fib(500). Còn nếu được import từ module khác thì không.
1
2
3
>>> importfibonacci as fib
>>> fib.fib(500)
1123581321345589144233377
Bạn muốn học lập trình hãy liên hệ ngay với Mỹ Vân để được nhận ưu đãi từ học viện nhé
Học lập trình tại Đà Nẵng 0935029202Số tài khoản : 56110000942174 BIDV Chi nhánh Đà NẵngHUYNH THI MY VAN