实验报告

学号：4201479 姓名：李方诺

import re
import pandas as pd
import openpyxl

xlsx = '畜牧业.xlsx'

df = pd.read_excel(xlsx)

exf = openpyxl.load_workbook(xlsx)
sheet = exf.active
C2 = sheet['C2']
C = sheet['C']
links = [c.value for c in C]
links_1=links[1:-1]
links_2=''.join(links_1)
p=re.compile('"(.*?)","(.*?)"')
list_of_tuple=p.findall(links_2)

df2=pd.DataFrame({'Link':[t[0]for t in list_of_tuple],
                 'f_name':[t[1]for t in list_of_tuple]})
df2.to_csv('畜牧业.csv')

import re 
import requests
import time
import pandas as pd

df=pd.read_csv('畜牧业.csv')

p=re.compile('(?<=\d{4})(年报)|(年年报)')
f_names=[p.sub('年年度报告',f)for f in df.f_name]
df['f_name']=f_names; del p,f_names
print(df)

     Unnamed: 0                                               Link  \
0             0  http://news.windin.com/ns/bulletin.php?code=7D...   
1             1  http://news.windin.com/ns/bulletin.php?code=70...   
2             2  http://news.windin.com/ns/bulletin.php?code=F4...   
3             3  http://news.windin.com/ns/bulletin.php?code=E4...   
4             4  http://news.windin.com/ns/bulletin.php?code=ED...   
..          ...                                                ...   
495         495  http://news.windin.com/ns/bulletin.php?code=b9...   
496         496  http://news.windin.com/ns/bulletin.php?code=50...   
497         497  http://news.windin.com/ns/bulletin.php?code=3d...   
498         498  http://news.windin.com/ns/bulletin.php?code=e2...   
499         499  http://news.windin.com/ns/bulletin.php?code=bd...   

                     f_name  
0      *ST华英:2020年年度报告(更新后)  
1    *ST华英:2020年年度报告摘要(更新后)  
2       西部牧业:2020年年度报告(更新后)  
3        新希望:2020年年度报告(英文版)  
4       禾丰股份:2020年年度报告（英文版）  
..                      ...  
495          禾丰牧业:2014年年度报告  
496        禾丰牧业:2014年年度报告摘要  
497          西部牧业:2014年年度报告  
498        西部牧业:2014年年度报告摘要  
499           唐人神:2014年年度报告  

[500 rows x 3 columns]

def filter_links(words,df,include=True):
    ls=[]
    for word in words:
        if include:
            ls.append([word in f for f in df.f_name])
        else:
            ls.append([word not in f for f in df.f_name])
    index=[]
    for r in range(len(df)):
        flag=not include
        for c in range(len(words)):
            if include:
                flag=flag or ls[c][r]
            else:
                flag=flag and ls[c][r]
        index.append(flag)
    df2=df[index]
    return(df2)   

df_all=filter_links(['摘要','审计报告','财务','英文版'],df,include=False) 
df_original=filter_links(['（','('],df_all,include=False)
df_db=filter_links(['西部牧业','禾丰牧业','瑞普生物','大北农','天康生物','大康牧业','天邦股份','溢多利','雏鹰农牧','牧原股份'],df_original,include=True)
links=df_db['Link'];f_names=df_db['f_name']

def get_PDF_url(url):
    r=requests.get(url);r.encoding='utf-8';html=r.text
    r.close()
    p=re.compile('<a href=(.*?)\s.*?>(.*?)</a>',re.DOTALL)
    a=p.search(html)
    if a is None:
        Warning('没有找到下载链接，请手动检查链接:%s' % url)
        return()
    else:
        href=a.group(1);fname=a.group(2).strip()
    href=r.url[:26]+href
    return((href,fname))
    
for link in links:
    href,fname=get_PDF_url(link)
    r=requests.get(href,allow_redirects=True)
    open('%s'%fname,'wb').write(r.content)
    time.sleep(10)
r.close()

import pdfplumber
import os

filenames = os.listdir()
print(filenames)

['.ipynb_checkpoints', 'final_Links_畜牧业.xls', '大北农：2014年年度报告.pdf', '大北农：2015年年度报告.pdf', '大北农：2016年年度报告.pdf', '大北农：2017年年度报告.pdf', '大北农：2018年年度报告.pdf', '大北农：2019年年度报告.pdf', '大北农：2020年年度报告.pdf', '大康牧业：2014年年度报告.pdf', '大康牧业：2015年年度报告.pdf', '天康生物：2014年年度报告.pdf', '天康生物：2015年年度报告.pdf', '天康生物：2016年年度报告.pdf', '天康生物：2017年年度报告.pdf', '天康生物：2018年年度报告.pdf', '天康生物：2019年年度报告.pdf', '天康生物：2020年年度报告.pdf', '天邦股份：2014年年度报告.pdf', '天邦股份：2015年年度报告.pdf', '天邦股份：2016年年度报告.pdf', '天邦股份：2017年年度报告.pdf', '天邦股份：2018年年度报告.pdf', '天邦股份：2019年年度报告.pdf', '天邦股份：2020年年度报告.pdf', '实验报告 李方诺.ipynb', '李方诺.py', '溢多利：2014年年度报告.pdf', '溢多利：2015年年度报告.pdf', '溢多利：2016年年度报告.pdf', '溢多利：2017年年度报告.pdf', '溢多利：2019年年度报告.pdf', '溢多利：2020年年度报告.pdf', '牧原股份：2014年年度报告.pdf', '牧原股份：2015年年度报告.pdf', '牧原股份：2016年年度报告.pdf', '牧原股份：2017年年度报告.pdf', '牧原股份：2018年年度报告.pdf', '牧原股份：2019年年度报告.pdf', '牧原股份：2020年年度报告.pdf', '瑞普生物：2014年年度报告.pdf', '瑞普生物：2015年年度报告.pdf', '瑞普生物：2016年年度报告.pdf', '瑞普生物：2017年年度报告.pdf', '瑞普生物：2019年年度报告.pdf', '瑞普生物：2020年年度报告.pdf', '畜牧业.csv', '畜牧业.xlsx', '禾丰牧业：2014年年度报告.pdf', '禾丰牧业：2015年年度报告.pdf', '禾丰牧业：2016年年度报告.pdf', '禾丰牧业：2017年年度报告.pdf', '禾丰牧业：2019年年度报告.pdf', '西部牧业：2014年年度报告.pdf', '西部牧业：2015年年度报告.pdf', '西部牧业：2016年年度报告.pdf', '西部牧业：2017年年度报告.pdf', '西部牧业：2019年年度报告.pdf', '西部牧业：2020年年度报告.pdf', '雏鹰农牧：2014年年度报告.pdf', '雏鹰农牧：2015年年度报告.pdf', '雏鹰农牧：2016年年度报告.pdf', '雏鹰农牧：2017年年度报告.pdf', '雏鹰农牧：2018年年度报告.pdf']

def getText(pdf):
    text = ''
    doc = fitz.open(pdf)
    for page in doc:
        text += page.getText()
    doc.close()
    return(text)
    
def parse_data_line(pdf):    
    text = getText(pdf)
    p1 = re.compile('\w{1,2}、主要会计数据和财务指标(.*?)(?=\w{1,2}、)',re.DOTALL)
    subtext = p1.search(text)
    if subtext is None:
        p1 = re.compile('(\w{1,2})\s*主要会计数据(.*?)(?=(\w{1,2})\s*主要财务指标)',re.DOTALL)
        subtext = p1.search(text).group(0)
    else:
        subtext = p1.search(text).group(0)
    subp='([0-9,.%\- ]*?)\n' and '([0-9,.%\- ]*?)\s'
    psub='%s%s%s%s'%(subp,subp,subp,subp)
    p=re.compile('(\D+\n)+%s'%psub)
    lines=p.findall(subtext)    
    return(lines)

filenames = os.listdir()
list=['西部牧业','禾丰牧业','瑞普生物','大北农','天康生物','大康牧业','天邦股份','溢多利','雏鹰农牧','牧原股份']
import fitz
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei']  
plt.rcParams['axes.unicode_minus'] = False  

for i in range(10):
    prefix= list[i]
    pdf = [f for f in filenames if prefix[:3] in f and f.endswith('.pdf')]
    year = [p[-13:-9] for p in pdf]
    df_data=pd.DataFrame({'年份':year,
                      '年营业收入':''})
    for y in range(len(pdf)):
        lines=parse_data_line(pdf[y])
        df_fnc=pd.DataFrame([l for l in lines],columns=['',year[y]+'年',str(eval(year[y])-1)+'年','本年比上年增减',str(eval(year[y])-2)+'年']) 
        s=df_fnc.iloc[0,1]
        s=s.replace(',','')
        df_data['年营业收入'][[y]]=eval(s) 
    plt.figure()
    plt.plot(df_data['年份'],df_data['年营业收入'],label=u'年营业收入',color='b')
    plt.xlabel(u'（年）',fontsize=13)
    plt.ylabel(u'年营业收入（元）',fontsize=13,rotation=90)
    plt.legend(loc='best')
    plt.title(u'%s%s-%s年营业收入的可视化'%(prefix,str(year[0]),str(year[-1])),fontsize=13)
    plt.yticks(range(0,10**10,10**9))
    plt.grid(True)
    plt.show()

year1=['2014','2015','2016','2017','2018','2019','2020']
for i in range(7):
    year2= year1[i]
    pdf = [f for f in filenames if year2 in f and f.endswith('.pdf')]
    fname = [p[:4] for p in pdf]
    df_data=pd.DataFrame(columns=['营收'],index= fname)
    df_data=df_data.fillna('')
    for y in range(len(fname)):
        lines=parse_data_line(pdf[y])
        df_fnc1=pd.DataFrame([l for l in lines],columns=['0','1','1','2','3']) 
        s=df_fnc1.iloc[0,1]
        s=s.replace(',','')
        df_data['营收'][[y]]=eval(s)
    plt.figure()
    plt.bar(x=df_data.index,height=df_data['营收'],label=u'年营业收入',color='r')
    plt.xlabel(u'（公司）',fontsize=13)
    plt.ylabel(u'年营业收入（元）',fontsize=13,rotation=90)
    plt.legend(loc='best')
    plt.title(u'十家畜牧业行业公司%s年营业收入'%year2,fontsize=13)
    plt.yticks(range(0,10**10,10**9))
    plt.xticks(rotation=45)
    plt.grid(True)
    plt.show()