会员登录|免费注册|忘记密码|管理入口 返回主站||保存桌面
天眼设备的协议字段及语法
2024-11-20IP属地 湖北2

天眼设备的协议字段及语法

(1)布尔运算符(AND、OR、NOT

日志检索系统支持三种运算符(运算符要)。

AND 运算符(AND、&& 或 +

AND运算符关联两部分内容、代表两部分内容必须同时存在

实例:dip:10.16.16.46 AND client_os:“Windows7 or 8”

OR 运算符(OR 或 ||

OR运算符关联两个项或短语,任意一个匹配即满足

实例:dport:“443” OR dport:“8080”

NOT 运算符(NOT、!或 -

NOT运算符排除含有NOT运算符后面的项或短语记录。相当于非运算符。

实例:dport:“80” NOT host:“www.example.com”

(2)基本搜索语法

搜索语句一般由三大元素组成。 天眼设备的协议字段及语法

(3)项

  • 短语搜索运算符" " 短语运算符将短语括在引号 " " 中。 例如,Roach Motel(没有引号)会以任何顺序 在任何位置搜索包含 Roach 和/或 Motel 的文档,而 “Roach Motel”(带引号)只 会匹配包含整个短语并按该顺序排列的文档(文本分析仍然适用)。
  • 优先运算符 优先运算符将字符串括在括号 ( ) 中。 例如,motel+(wifi | luxury) 将搜索包含 motel 词条以及 wifi 或 luxury(或两者)的文档。
  • 分组 ( jakarta OR apache) AND jakarta
  • 字段分组 title:(+return +“pink panther”) host:(baidu OR qq OR google) AND host:(com OR cn)

(4)高级查询语法

  • 通配符查询

    支持在一个项内的单个和多个字符的通配符搜索。使用问号(?)表 示单个字符的通配符搜索,使用星号(*)表示多个字符的通配符搜索。 多字符的通配符搜索寻找零个或多个字符。 示例:搜索单词 mssql 或 mysql可以使用 db_type:m?sql (不加引号)

  • 范围查询

    查询所指定的上限和下限之间的字段值的记录匹配。可用于 数值 /时间 / IP 类型的字段。包含上下限范围的查询通过方括号和运算符 TO来表示。

:搜索的关键字尽量不要包含特殊符号+ - && || ! ( ) { } [ ] ^ " ~ * ? : 以上特殊字符如果包含在搜索的关键字内,需要使用“”转义。

(1)分析平台日志检索

在该页面可以查看等。

  • 告警日志:威胁告警、webshell上传、网页漏洞利用、网络攻击、威胁情报告警、沙箱检测告警、邮件威胁检测告警、蜜罐告警、网神云锁
  • 网络日志:web访问、TCP流量、文件传输、域名解析、SSL加密传输、数据库操作、FTP控制通道、登录动作、网络异常报文、LDAP行为、邮件行为、MQ流量、网络阻断、TeInet行为、UDP流量
  • 终端日志:IM文件传输、邮件附件传输、DNS访问审计、终端进程信息、U盘文件传输

天眼设备的协议字段及语法

字段注释备注attack_sip攻击者IPalarm_sip受害者IPattack_type攻击类型is_web_attack用于标记告警是否是web告警0:否/1:是hazard_level威胁级别威胁级别标识取值:0-10
字段注释备注access_time日志生成时间传感器采集到该数据包并解析完成生成日志的时间戳@timestamp时间戳日志在分析平台存储入库时添加sip源IP网络数据流的发起IPsport源端口网络数据流的客户端应用端口dip目的IP网络数据流的服务端IPdport目的端口网络数据流的服务器应用端口geoIP对应的地理位置

1、TCP协议

  • 特点

    ①数据分片:在发送端对用户数据进行分片,在接收端进行重组,由TCP确定分片的大小并控制分片和重组

    ②到达确认:接收端接收到分片数据时,根据分片数据序号向发送端发送一个确认

    ③超时重发:发送方在发送分片时启动超时定时器,如果在定时器超时之后没有收到相应的确认,重发分片

    ④滑动窗口:TCP连接每一方的接收缓冲空间大小都固定,接收端只允许另一端发送接收端缓冲区所能接纳的数据,TCP在滑动窗口的基础上提供流量控制,防止较快主机致使较慢主机的缓冲区溢出

    ⑤失序处理:作为IP数据报来传输的TCP分片到达时可能会失序,TCP将对收到的数据进行重新排序,将收到的数据以正确的顺序交给应用层

    ⑥重复处理:作为IP数据报来传输的TCP分片会发生重复,TCP的接收端必须丢弃重复的数据

    ⑦数据校验:TCP将保持它首部和数据的检验和,这是一个端到端的检验和,目的是检测数据在传输过程中的任何变化。如果收到分片的检验和有差错,TCP将丢弃这个分片,并不确认收到此报文段导致对端超时并重发。

  • 三次握手

天眼设备的协议字段及语法

2、UDP协议

  • 特点

    ①UDP是一个无连接协议,传输数据之前源端和终端不建立连接,当它想传送时就简单地去抓取来自应用程序的数据,并尽可能快地把它扔到网络上。在发送端,UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机的能力和传输带宽的限制;在接收端,UDP把每个消息段放在队列中,应用程序每次从队列中读一个消息段。

    ②由于传输数据不建立连接,因此也就不需要维护连接状态,包括收发状态等,因此一台服务机可同时向多个客户机传输相同的消息。

  • 报文格式

天眼设备的协议字段及语法

3、TCP/UDP协议字段

字段注释备注proto协议IP包中协议字段值uplink_length上行字节数从TCP流的建立到该流的结束,从客户端发往服务器端的应用层数据的字节总数downlink_length下行字节数从TCP流的建立到该流的结束,从服务器端发往客户端的应用层数据的字节总数src_mac源MACTCP数据流客户端发往服务端的数据包,源MAC地址dst_mac目的MACTCP数据流客户端发往服务端的数据包,源MAC地址up_payload上行前100字节从TCP流的建立起,从客户端发往服务器端应用层的前100个字节down_payload下行前100字节从TCP流的建立起,从服务器端发往客户端应用层的前100个字节

1、HTTP请求方式

根据HTTP标准,HTTP请求可以使用多种请求方法。

HTTP1.0定义了三种请求方法:GET、POST和HEAD方法。

HTTP1.1新增了六种请求方法:OPTIONS、PUT、PATCH、DELETE、TRACE和CONNECT方法

序号方法描述1GET请求指定页面信息,并返回实体主体2HEAD类似于GET请求,只不过返回的响应中没有具体的内容,用于获取报文头3POST向指定资源提交数据进行处理请求(例如提交表单或者上传文件)。数据被包含在请求体中。POST请求可能会导致新的资源的建立或已有资源的修改。4PUT从客户端向服务器发送的数据取代指定的文档的内容。5DELETE请求服务器删除指定的页面。6CONNECTHTTP/1.1协议中预留给能够将连接方式改为管道方式的代理服务器。7OPTIONS允许客户端查看服务器的性能。8TRACE回显服务器收到的请求,主要用于测试或诊断。9PATCH是对PUT方法的补充,用来对已知资源进行局部更新。

2、HTTP协议字段

字段注释备注methodHTTP请求方法HTTP包头的method字段,最常见:GET和POSTuri请求的资源HTTP包头的URI字段host请求的域名HTTP包头的host字段cookieCookieHTTP包头的cookie字段agent请求者信息HTTP包头中的user-Agent字段referer链接来源HTTP包头的referer字段xff请求端真实IP和代理HTTP包头的XFF字段data传送的数据POST类型的报文,截取POST的部分原始数据,最多1000字节

3、HTTP状态码

状态码状态码英文名中文描述100Countinue继续。客户端应继续其请求。200OK请求成功。一般用于GET请求和POST请求。302Found临时移动。与301类似,但资源只是临时移动,客户端应继续使用原有的URI。400Bad Request客户端请求的语法错误,服务器无法理解。401Unauthorized请求要去用户的身份认证。402Payment Request保留,将来使用。403Forbidden服务器理解客户端的请求,但是拒绝执行此请求。404Not Found服务器无法根据客户端的请求找到资源(网页)。通过此代码,网站设计人员可设置“您所请求的资源无法找到”的个性页面。405Method Not Allowed客户端请求中的方法被禁止。500Internal Server Error服务器内部错误,无法完成请求。502Bad Geteway作为网关或者代理工作的服务器尝试执行请求时,从远程服务器接收到了一个无效响应。

4、HTTP X-Forwarded-For

X-Forwarded-For(XFF)是用来识别通过HTTP代理或负载均衡方式连接到Web服务器的 客户端最原始的IP地址的HTTP请求头字段。 每经过一个代理设备,设备可添加一个proxyN,这个字段是否可信取决于上一跳设 备是否可信。

X-Forwarded-For: client1, proxy1, proxy2, proxy3

天眼设备的协议字段及语法

5、HTTP referer

HTTP Referer是header的一部分,当浏览器向web服务器发送请求的时候,一般 会带上Referer,告诉服务器我是从哪个页面链接过来的,服务器基此可以获得 一些信息用于处理。

Referer字段是分析漏洞利用行为时的重要参考字段,进行辅助溯源,判断告警 触发方式。

(1)域名

http://www.163.com/index.html

1)http://:这个是协议,也就是HTTP超文本传输协议,也就是网页在网上传输的协议。

2)www:这个是服务器名,代表着是一个邮箱服务器,所以是mail.

3)163.com:这个是域名,是用来定位网站的独一无二的名字。

  1. www.163.com:这个是网站名,由服务器名+域名组成。

5)/:这个是根目录,也就是说,通过网站名找到服务器,然后在服务器存放网页的根目录

6)index.html:这个是根目录下的默认网页(当然,163的默认网页是不是这个我不知道, 只是大部分的默认网页,都是index.html

7)http://www.163.com/index.html:这个叫做URL,统一资源定位符,全球性地址,用于 定位网上的资源。

国家顶级域名:中国:cn 美国:us 英国:uk

通用顶级域名:com公司企业,edu教育机构,gov政府部门,int国际组织,mil军事部门,net网络,org非盈利组织

(2)查询方式

  • 递归查询:发生在客户端到本地DNS服务器(找到才回答
  • 迭代查询:发生在本地DNS服务器向根、顶级域名服务器请求(有问有答

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WZmPe5MR-1685707617031)(img/1684045227269.png)]

(3)DNS协议字段

字段注释备注dns_typeDNS访问类型表示是请求报文还是响应报文;0代表DNS请求,1代表DNS响应hostHost请求的域名信息addr地址资源DNS的A记录,表示该host对应的IP地址信息;可能有多个记录mx邮件交互记录DNS的MX记录cname域名的规范名称DNS的CNAME记录,表示该host域名的其他别名记录reply_codeDNS响应结果状态DNS响应报文中Flags字段中的Reply code信息
字段注释备注version版本号SSL的版本号sesson_id会话id本次会话的session_id, server hello 报文中的session_idserver_name服务器名字SSL client_hello报文中的扩展字段 通过该字段判断客户端和哪个站点进行交互。issuer_name每封证书中的颁发者的名字每封证书中的颁发者的名字notbefore该证书的有效期的起始时间该证书的有效期的起始时间notafter该证书的有效期的结束时间该证书的有效期的结束时间public_key该证书的公钥该证书的公钥user_nameSever端的证书的持有者最上层证书的使用者,即本次SSL连接Sever端的