Colaboratory使用介绍

  • A+
所属分类:深度学习
摘要这一篇文章主要介绍Colaboratory的简单使用. 也是记录一些自己常见的操作, 比如说google drive的连接, GPU的设置等操作.

简介

因为自己最近在外面交换, 没了实验室的机器来跑实验, 所以开始尝试使用一下Colaboratory. 这里就简单记录一下使用过程中的一些内容, 例如如何连接google drive.

一些参考资料

欢迎使用 Colaboratory

 

简单记录

插入代码和文本

关于代码的插入, 和markdown的插入. 在界面左上角, 可以看到下面两个按钮

  • +代码 => 插入代码
  • +文本 => 插入文本
Colaboratory使用介绍

 

连接Google Drive

在做数据分析的时候, 很重要的一步就是数据的导入. 一般情况下, 我们会将数据保存到Google Drive中, 这个时候, 如果要使用其中的数据, 就需要与Drive进行连接.

Google Drive的连接

我们使用下面的方式进行连接:

  1. from google.colab import drive
  2. drive.mount('/content/drive')

连接后常见linux命令

之后, 比如列出目录下的文件, 就可以进行下面的操作(这个也是可以执行linux的命令的):

  1. !ls '/content/drive/My Drive'

我们也可以找出所有png结尾的文件

  1. !find '/content/drive/My Drive' -name "*.png"

删除找出的文件(这里有个要注意的地方, 就是路径中是有空格的, 所以看一下如何进行删除的)

  1. # 当文件路径中存在空格的处理方式
  2. # 参考链接: https://blog.csdn.net/ice1976/article/details/3191734
  3. !find '/content/drive/My Drive' -name "*.png" -print0|xargs -0 rm -r

有的时候上传的是压缩包, 我们要进行解压缩(实际使用的时候解压缩会比较慢, 不是很推荐使用)

  1. # q表示quiet
  2. !unzip -q "./dataset/breast-histopathology-images.zip" -d "./dataset/breast-histopathology-images"

数据分析时导入

在连接Google Drive之后, 我们需要使用下面的方式来进行导入, 来进行我们之后的数据分析. 此时数据导入就和平时在本地是一样的, 只不过路径要改为google drive的路径地址. 比如下面这个例子.

  1. # 导入数据
  2. data = pd.read_csv('/content/drive/My Drive/Machine Learning/dataset/heart-disease-uci.csv')

 

使用GPU

使用Colaboratory的最大的一个优点就是可以免费使用GPU. 我们使用下面的方式来开启GPU的使用. 我们在"修改->笔记本设置"中进行修改.

Colaboratory使用介绍

点击之后出现下图的选项, 我们选择GPU即可.

Colaboratory使用介绍

之后可以通过下面方式查看GPU是否启动成功.

  1. import torch
  2. # 查看相关的版本
  3. torch.__version__
  4. # --------------------
  5. # Device configuration
  6. # --------------------
  7. device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  8. device
  9. """
  10. device(type='cuda')
  11. """

 

关于Colaboratory Pro

关于是否要升级为Colaboratory Pro版本, 我觉得如果不是有很大的需求, 或是因为GPU memory不够的问题, 是不用考虑升级的. 我自己尝试升级了一个月. 升级之后, 左侧的图标就有Pro了, 看上去就变厉害了.

Colaboratory使用介绍

升级之后会弹出一个文档, 来说明升级之后的好处. 不过总体来说就是更好的GPU和更大的内存(注意这里不是显存, 就只是内存, 所以升级的时候考虑清楚)

关于GPU信息的查看, 可以使用以下的命令.

  1. gpu_info = !nvidia-smi
  2. gpu_info = '\n'.join(gpu_info)
  3. if gpu_info.find('failed') >= 0:
  4.     print('Select the Runtime → "Change runtime type" menu to enable a GPU accelerator, ')
  5.     print('and then re-execute this cell.')
  6. else:
  7.     print(gpu_info)

 

可以使用下面的命令切换为高RAM模式.

  1. from psutil import virtual_memory
  2. ram_gb = virtual_memory().total / 1e9
  3. print('Your runtime has {:.1f} gigabytes of available RAM\n'.format(ram_gb))
  4. if ram_gb < 20:
  5.     print('To enable a high-RAM runtime, select the Runtime → "Change runtime type"')
  6.     print('menu, and then select High-RAM in the Runtime shape dropdown. Then, ')
  7.     print('re-execute this cell.')
  8. else:
  9.     print('You are using a high-RAM runtime!')

 

 

  • 微信公众号
  • 关注微信公众号
  • weinxin
  • QQ群
  • 我们的QQ群号
  • weinxin
王 茂南

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: