Author : Zhihui Li

E-mail：18210700119@fudan.edu.cn

Git: http://choppy.3steps.cn/lizhihui/combine.git

Last Updates: 28/08/2019

简介

combine是用于 Choppy-pipe 系统使用的 APP。利用该 APP 可以获得从单个测序原始文件fastq 合并到多个测序原始文件fastq 。

快速安装及使用

Requirements

• Python 3
• choppy
• Ali-Cloud

在终端中输入以下命令即可快速安装本APP。

1.安装
$ source activate choppy-py3
$ choppy install lizhihui/combine
$ choppy apps
2.使用
$ choppy samples combine-latest --out Projectname_combine_date_people.csv
$ choppy batch combine-latest Projectname_combine_date_people.csv --project-name Projectname_combine_date_people

使用方法

任务的准备

按照上述步骤安装成功之后，可以通过下面简单的命令即可使用APP：

# Generate samples file
$ choppy samples combine-latest --out Projectname_combine_date_people.csv

Projectname_combine_date_people.csv 包含以下几个需要填写的参数：

• 文件中必须包含的列为：
  • sample_id：样本名称，该名称将自动作为生成结果文件的前缀名
  • file1：需要合并的第一个原始FASTQ文件所在的OSS路径
  • file2：需要合并的第二个原始FASTQ文件所在的OSS路径
  • file3：需要合并的第三个原始FASTQ文件所在的OSS路径
  • file4：需要合并的第四个原始FASTQ文件所在的OSS路径
  • disk_size：任务运行时，集群存储空间设置（一般设置为合并文件之和的5倍即可）
  • name：合并后文件名称，建议与sample_id一致

file1,file2,file3,file4,name,disk_size,sample_id
# file1  		需要合并的第一个原始FASTQ文件所在的OSS路径
# file2  		需要合并的第二个原始FASTQ文件所在的OSS路径
# file3  		需要合并的第三个原始FASTQ文件所在的OSS路径
# file4  		需要合并的第四个原始FASTQ文件所在的OSS路径
# read2  		双端测序数据的R2端在阿里云上的路径信息
# name      合并后文件名称，建议与sample_id一致
# disk_size	任务运行时，集群存储空间设置
# sample_id 样本名称，该名称将自动作为生成结果文件的前缀名

任务提交

在配置好Projectname_combine_date_people.csv 文件后，使用以下命令可以提交计算任务：

$ choppy batch combine-latest Projectname_combine_date_people.csv --project-name Projectname_combine_date_people

提交成功后，即可在工作目录下找到生成的目录名为Projectname_combine_date_people，里面包含了本次提交任务的所有样本信息。

任务输出

任务成功结束后，便可以在阿里云相应的OSS端生成相应的结果文件。包括本次从单个测序原始文件fastq 合并到多个测序原始文件fastq 。

APP流程概述

相当于使用Linux下cat命令合并文件。

输出文件说明

结果文件是由多个测序原始文件fq.gz合并成的测序原始文件fq.gz