Skip to main content

crawlerx

成员函数函数描述/介绍
crawlerx.StartCrawler
crawlerx.blackList
crawlerx.checkDanger
crawlerx.concurrent
crawlerx.cookie
crawlerx.cookies
crawlerx.formFill
crawlerx.fullTimeout
crawlerx.header
crawlerx.headers
crawlerx.maxDepth
crawlerx.maxUrl
crawlerx.proxy
crawlerx.scanRange
crawlerx.scanRepeat
crawlerx.tags
crawlerx.timeout
crawlerx.whiteList

变量定义#

变量调用名变量类型变量解释/帮助信息
crawlerx.AllDomainScanint//
crawlerx.HighRepeatLevelint//
crawlerx.LowRepeatLevelint//
crawlerx.MediumRepeatLevelint//
crawlerx.SubMenuScanint//
crawlerx.TargetUrlScanint//
crawlerx.UnLimitRepeatint//

函数定义#

crawlerx.StartCrawler#

详细描述#

定义:#

func crawlerx.StartCrawler(v1: string, v2 ...core.ConfigOpt) return (r0: chan core.ReqInfo, r1: error)

参数#

参数名参数类型参数解释
v1string
v2...core.ConfigOpt

返回值#

返回值(顺序)返回值类型返回值解释
r0chan core.ReqInfo
r1error

crawlerx.blackList#

详细描述#

定义:#

func crawlerx.blackList(v1: string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.checkDanger#

详细描述#

定义:#

func crawlerx.checkDanger() return (r0: func ConfigOpt(v1: *core.Config) )

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.concurrent#

详细描述#

定义:#

func crawlerx.concurrent(v1: int) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1int

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.cookie#

详细描述#

定义:#

func crawlerx.cookie(v1: string, v2: string, v3: string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1string
v2string
v3string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.cookies#

详细描述#

定义:#

func crawlerx.cookies(v1: string, v2: map[string]string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1string
v2map[string]string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.formFill#

详细描述#

定义:#

func crawlerx.formFill(v1: string, v2: string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1string
v2string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.fullTimeout#

详细描述#

定义:#

func crawlerx.fullTimeout(v1: int) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1int

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.header#

详细描述#

定义:#

func crawlerx.header(v1: string, v2: string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1string
v2string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.headers#

详细描述#

定义:#

func crawlerx.headers(v1: map[string]string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1map[string]string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.maxDepth#

详细描述#

定义:#

func crawlerx.maxDepth(v1: int) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1int

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.maxUrl#

详细描述#

定义:#

func crawlerx.maxUrl(v1: int) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1int

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.proxy#

详细描述#

定义:#

func crawlerx.proxy(v1: string, v2 ...string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1string
v2...string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.scanRange#

详细描述#

定义:#

func crawlerx.scanRange(v1: int) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1int

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.scanRepeat#

详细描述#

定义:#

func crawlerx.scanRepeat(v1: int) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1int

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.tags#

详细描述#

定义:#

func crawlerx.tags(v1: string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.timeout#

详细描述#

定义:#

func crawlerx.timeout(v1: int) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1int

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)

crawlerx.whiteList#

详细描述#

定义:#

func crawlerx.whiteList(v1: string) return (r0: func ConfigOpt(v1: *core.Config) )

参数#

参数名参数类型参数解释
v1string

返回值#

返回值(顺序)返回值类型返回值解释
r0func ConfigOpt(v1: *core.Config)