通过带有标签的列和索引，Pandas 使我们可以以一种所有人都能理解的方式来处理数据。它可以让我们毫不费力地从诸如 csv 类型的文件中导入数据。我们可以用它快速地对数据进行复杂的转换和过滤等操作。
pandas和 Numpy、Matplotlib 一起构成了一个 Python 数据探索和分析的强大基础。Scipy是同类型的库，感兴趣的可以进行了解。
本文记录和收集积累pandas的用法。
这是导入 pandas 的标准方法。我们不想一直写 pandas 的全名，但是保证代码的简洁和避免命名冲突都很重要，所以折中使用 pd 。如果你去看别人使用 pandas 的代码，就会看到这种导入方式。
Pandas 基于两种数据类型，series 和 dataframe。
series 是一种一维的数据类型，其中的每个元素都有各自的标签。你可以把它当作一个由带标签的元素组成的 numpy 数组。标签可以是数字或者字符。 通俗的理解就是 带有标签的行 或者带有标签的列。
dataframe 是一个二维的、表格型的数据结构。Pandas 的 dataframe 可以储存许多不同类型的数据，并且每个轴都有标签。你可以把它当作一个 series 的字典。通俗的理解就是 行列带有标签的表格。
如果你的数据集中有中文的话，最好在里面加上 encoding = ‘gbk’ ，以避免乱码问题。后面的导出数据的时候也一样。
这里我们从 csv 文件里导入了数据，并储存在 dataframe 中。这一步非常简单，你只需要调用 read_csv 然后将文件的路径传进去就行了。header 关键字告诉 Pandas 哪些是数据的列名。如果没有列名的话就将它设定为 None 。
我们只需要调用 head() 函数并且将想要查看的行数传入。
跟 head 一样，我们只需要调用 tail 并且传入想要查看的行数即可。注意，它并不是从最后一行倒着显示的，而是按照数据原来的顺序显示。
输入新列名即可
在 Pandas 中，一条记录对应着一行，所以我们可以对数据集调用 len 方法，它将返回数据集的总行数：
上面的代码返回一个表示数据行数的整数
你可能还想知道数据集的一些基本的统计数据，在 Pandas 中，这个操作简单到哭：
这将返回一张表，其中有诸如总数、均值、标准差之类的统计数据：
使用列的标签可以非常简单地做到：
注意，当我们提取列的时候，会得到一个 series ，而不是 dataframe 。记得我们前面提到过，你可以把 dataframe 看作是一个 series 的字典，所以在抽取列的时候，我们就会得到一个 series。
访问对象属性一样访问数据集的列——只用一个点号。
这句代码返回的结果与前一个例子完全一样——是我们选择的那列数据。
pandas可以使用布尔过滤（boolean masking）的技术，通过在一个数组上运行条件来得到一个布林数组。
上面的代码将会返回一个由布尔值构成的 dataframe。True 表示在十月-九月降雨量小于 1000 mm，False 表示大于等于 1000 mm。
我们可以用这些条件表达式来过滤现有的 dataframe。
这条代码只返回十月-九月降雨量小于 1000 mm 的记录：
也可以通过复合条件表达式来进行过滤：
这条代码只会返回 rain_octsep 中小于 1000 的和 outflow_octsep 中小于 4000 的记录：
注意重要的一点：这里不能用 and 关键字，因为会引发操作顺序的问题。必须用 & 和圆括号。
和操作 使用&、或操作使用|、not操作使用 ~
如果你的数据是字符串，你也可以使用字符串方法来进行过滤：
注意，你必须用 .str.[string method] ，而不能直接在字符串上调用字符方法。上面的代码返回所有 90 年代的记录。
可以设置一个（或者多个）新的索引：
上面的代码将 water_year 列设置为索引。注意，列的名字实际上是一个列表，虽然上面的例子中只有一个元素。如果你想设置多个索引，只需要在列表中加入列的名字即可。
之前的部分展示了如何通过列操作来得到数据，但是 Pandas 的行也有标签。行标签可以是基于数字的或者是标签，而且获取行数据的方法也根据标签的类型各有不同。
如果你的行标签是数字型的，你可以通过 iloc 来引用：
iloc 只对数字型的标签有用。它会返回给定行的 series，行中的每一列都是返回 series 的一个元素。
我们设置的索引列中都是字符型数据，这意味着我们不能继续使用 iloc 来引用，那我们用什么呢？用 loc 。
和 iloc 一样，loc 会返回你查询的行，唯一一点不同就是此时你使用的是基于字符串的引用，而不是基于数字的。
还有一个引用列的常用常用方法—— ix 。如果 loc 是基于标签的，而 iloc 是基于数字的，那 ix 是基于什么的？事实上，ix 是基于标签的查询方法，但它同时也支持数字型索引作为备选。
与 iloc、loc 一样，它也会返回你查询的行。
如果 ix 可以同时起到 loc 和 iloc 的作用，那为什么还要用后两个？一大原因就是 ix 具有轻微的不可预测性。还记得我说过它所支持的数字型索引只是备选吗？这一特性可能会导致 ix 产生一些奇怪的结果，比如讲一个数字解释为一个位置。而使用 iloc 和 loc 会很安全、可预测并且让人放心。但是我要指出的是，ix 比 iloc 和 loc 要快一些。
用 ==
更多按位置选择内容：http://pandas.pydata.org/pandas-docs/version/0.20/indexing.html#indexing-integer
通过传递的整数的位置进行选择：
通过整数切片，类似于numpy / python：
切出3-4行，1-2列一块区域
通过整数位置列表切分，类似numpy的/ Python的风格：
切分出某些行：
切分出某些列：
获取某个值
快速访问某个值（等同于先前的方法）：
将索引排序通常会很有用，在 Pandas 中，我们可以对 dataframe 调用 sort_index 方法进行排序。
将参数 ascending 设置为 false，数据就会呈降序排列。
当你将一列设置为索引的时候，它就不再是数据的一部分了。如果你想将索引恢复为数据，调用 set_index 相反的方法 reset_index 即可：
这一语句会将索引恢复成数据形式
有时你想对数据集中的数据进行改变或者某种操作。比方说，你有一列年份的数据，你需要新的一列来表示这些年份对应的年代。Pandas 中有两个非常有用的函数，apply 和 applymap。
上面的代码创建了一个叫做 year 的列，它只将 water_year 列中的年提取了出来。这就是 apply 的用法，即对一列数据应用函数。如果你想对整个数据集应用函数，就要使用 applymap 。
另一常见的做法是重新建立数据结构，使得数据集呈现出一种更方便并且（或者）有用的形式。
掌握这些转换最简单的方法就是观察转换的过程。
首先，是 groupby ：
groupby 会按照你选择的列对数据集进行分组。上例是按照年代分组。不过仅仅这样做并没有什么用，我们必须对其调用函数，比如 max 、 min 、mean 等等。例中，我们可以得到 90 年代的均值。
你也可以按照多列进行分组：
接下来是 unstack ，它可以将一列数据设置为列标签。最好还是看看实际的操作：
这条语句将上例中的 dataframe 转换为下面的形式。它将第 0 列，也就是 year 列设置为列的标签。
让我们再操作一次。这次使用第 1 列，也就是 rain_octsep 列：
在进行操作之前，我们先创建一个用于演示的 dataframe :
我们将会在上面的代码产生的 dataframe里演示轴向旋转（pivoting）。
轴旋转其实就是我们之前已经看到的那些操作的一个集合。首先，它会设置一个新的索引（set_index()），然后对索引排序（sort_index()），最后调用 unstack 。以上的步骤合在一起就是 pivot 。接下来看看你能不能搞清楚下面的代码在干什么：
注意，最后有一个 .fillna(’’) 。pivot 产生了很多空的记录，也就是值为 NaN 的记录。 fillna(’’)填充数据 。你也可以用别的别的东西，比方说 0 。我们也可以使用 dropna(how = ‘any’) 来删除有 NaN 的行，不过这样就把所有的数据都删掉了，所以不这样做。
上面的 dataframe 展示了所有降雨超过 1250 的 outflow 。诚然，这并不是讲解 pivot 实际应用最好的例子，但希望你能明白它的意思。看看你能在你的数据集上得到什么结果。
fillna
有时你有两个相关联的数据集，你想将它们放在一起比较或者合并它们。好的，没问题，在 Pandas 里很简单：
首先你需要通过 on 关键字来指定需要合并的列。通常你可以省略这个参数，Pandas 将会自动选择要合并的列。
两个数据集在年份这一类上合并了。jpn_rain 数据集只有年份和降雨量两列，通过年份列合并之后，jpn_rain 中只有降雨量那一列合并到了 UK_rain 数据集中。
也可以设置不同的合并方式 left，right，inner
合并后去重
Matplotlib 很棒，但是想要绘制出还算不错的图表却要写不少代码，而有时你只是想粗略的做个图来探索下数据，搞清楚数据的含义。Pandas 通过 plot 来解决这个问题：
这会调用 Matplotlib 快速轻松地绘出了你的数据图。
在清洗、重塑、探索完数据之后，你最后的数据集可能会发生很大改变，并且比最开始的时候更有用。你应该保存原始的数据集，但是你同样应该保存处理之后的数据。
上面的代码将会保存你的数据到 csv 文件以便下次使用。
例子:查询bl.txt文件与ba.txt文件的数据是否一致对应
注意：有的时候收到的csv文件的列名是中文的，想要修改列名就需要在字符串前面加上 u，而且需要df=df.rename,否则更改不会生效
新增时间列
输出如下：
输出如下：
输出如下：
pandas提供了将数据便捷存入关系型数据库的方法，在新版的pandas中，主要是已sqlalchemy方式与数据建立连接，支持MySQL、Postgresql、Oracle、MS SQLServer、SQLite等主流数据库。本例以MySQL数据库为代表，展示将获取到的股票数据存入数据库的方法,其他类型数据库请参考sqlalchemy官网文档的create_engine部分。
常用参数说明：
调用方法：
最终数据结果：
在pandas中进行列级别的分析很简单。下面是一些例子：
或者 i代表要计算的行
例子：
例子：
注意，时间列需要使用pd.to_datetime(df[‘date’])先转换为时间格式。
采用drop方法，有下面三种等价的表达式：
默认axis=0,drop是删除行。 设置axis=1（按列方向操作）、inplace=True（修改完数据，在原数据上保存）
注意：凡是会对原数组作出修改并返回一个新数组的，往往都有一个 inplace可选参数。如果手动设定为True（默认为False），那么原数组直接就被替换。也就是说，采用inplace=True之后，原数组名（如2和3情况所示）对应的内存值直接改变；而采用inplace=False之后，原数组名对应的内存值并不改变，需要将新的结果赋给一个新的数组或者覆盖原数组的内存位置（如1情况所示）
方式一
方式二
方式三
df.apply() 遍历行并访问函数
方式四
使用df.iloc函数，如下所示：
根据#account_id进行分组后，组内根据date_num进行由小到大排序，注意date_num需要是数值类型
rank的参数为： 一、ascending: 排序或者降序，默认为1，由小到大，ascending = 0意味着降序，即从大到小排序
二、method:遇到排序中值相同的情况，该如何排序，参数值 有’average’，‘min’，‘max’，‘first’，‘dense’，默认为’average’ 如何对具有相同值（即ties）的记录组进行排名： average：组的平均等级； min：组中最低的排名； max：组中最高等级； first : 按排列顺序排列，依次排列； dense：类似于 ‘min’，但组之间的排名始终提高1