Disques virtuels - Format qcow2

Mise à jour : Debian 11.1 / Bullseye

Le format qcow2 est un format de fichier image disque qui a pour objet d'optimiser la taille occupée par le fichier sur le disque. Pour ce faire

les données sont compressées
les blocs de données non utilisés sont remplacés par des trous

En contrepartie, ce format

n'est pas directement compatible avec les utilitaires de recopie tels que dd, cat, head
ni avec les utilitaires disques tels que fdisk, parted, .....

Ce document présente

quelques applications de la commande qemu-img : création de fichier au format qcow2, conversions entre format brut et format qcow2, ...
l'utilisation d'un serveur nbd pour créer des boucles de périphérique, associées aux partitions d'un disque virtuel au format qcow2. Les boucles ainsi créées, sont compatibles avec

les utilitaires de recopie tels que dd, ...
les utilitaires disques tels que fdisk
et les utilitaires de blocs de données, tels que lsblk, blkid,...

L'utilisation des disques virtuels avec l'émulateur qemu est décrite dans Emulateur Qemu - Kvm - Périphériques de stockage
L'utilisation des fichiers images au format brut est traitée dans Disques virtuels - Format brut

Référence :

Présentation du format qcow2 https://people.gnome.org/~markmc/qcow-image-format.html

Sommaire

1 - Création d'un disque vierge

1.1 - Création standard

On prend l'exemple de la création d'un disque virtuel de taille 1GiB

$ qemu-img create -f qcow2 disk.qcow2 1G
Formatting 'vdisk.qcow2', fmt=qcow2 cluster_size=65536 extended_l2=off compression_type=zlib size=1073741824 lazy_refcounts=off refcount_bits=16

Ce fichier est utilisable par qemu comme disque virtuel de taille 1G, son occupation sur le disque est de 196KiB

$ qemu-img info disk.qcow2 |grep size
virtual size: 1 GiB (1073741824 bytes)
disk size: 196 KiB

Il n'est pas reconnu comme disque virtuel 1GiB

par les commandes ls, du

$ ls -ln disk.qcow2 
-rw-r--r-- 1 1000 1000 196624  6 déc.  14:53 disk.qcow2

$ du -B K disk.qcow2          # Taille occupation disque en KiB
196K       disk.qcow2

$ du -k disk.qcow2            # Taille disque virtuel en KiB
196624        disk.qcow2

par les commandes de recopie dd, cat, ... et les commandes de disque fdisk, parted

$ cat disk.qcow2 |wc -c
196624

$ sudo fdisk -l disk.qcow2 |grep Disque
Disque disk.qcow2: 192 KiB, 196608 octets, 384 secteurs

Une tentative de partitionnement du disque modifie le format et la taille du disque virtuel

$ sudo parted disk.qcow2 -s mktable msdos mkpart primary ext2 1K 100% print
......
Number  Start  End    Size   Type     File system  Flags
 1      512B   197kB  196kB  primary  ext2         lba


$ qemu-img info disk.qcow2 
image: disk.qcow2
file format: raw
virtual size: 192 KiB (197120 bytes).               
disk size: 196 KiB

1.2 - Preallocation

Pour que le fichier soit vu comme un disque avec la taille apparente convenable par parted ou fdisk ou du, il est nécessaire d'ajouter au fichier des métadonnées, ce qui peut-être fait

soit en convertissant le fichier créé initialement

$ qemu-img convert -f qcow2 -O qcow2 -o preallocation=metadata vdisk.qcow2 vdisk2.qcow2

soit en créant directement le fichier avec les métadonnées

$ qemu-img create -f qcow2 -o size=1G,preallocation=metadata vdisk_.qcow2
Formatting 'vdisk_.qcow2', fmt=qcow2 cluster_size=65536 extended_l2=off preallocation=metadata compression_type=zlib size=1073741824 lazy_refcounts=off refcount_bits=16

Vérification des propriétés du fichiers avec les métadonnées : Il est reconnu comme disque virtuel 1GiB

par qemu et les utilitaires usuels

$ qemu-img info disk2.qcow2 |grep size
virtual size: 1 GiB (1073741824 bytes)
disk size: 324 KiB

$ ls -lnh disk2.qcow2 
-rw-r--r-- 1 1000 1000 1,1G  6 déc.  16:01 disk2.qcow2

$ du -B K disk2.qcow2                  # Taille occupation disque en KiB
324K       disk2.qcow2

$ du -B K --apparent-size disk2.qcow2        # Taille disque virtuel en KiB
1048960K      disk2.qcow2

$ cat disk2.qcow2 |wc -c
1074135040

$ sudo fdisk -l disk2.qcow2 |grep Disque
Disque disk2.qcow2: 1 GiB, 1074135040 octets, 2097920 secteurs

et peut désormais être partitionné avec parted ou fdisk ....

$ sudo parted disk2.qcow2 -s mktable msdos mkpart primary ext2 2MiB 100% print
Model:  (file)
.....

Number  Start   End     Size    Type     File system  Flags
 1      2097kB  1074MB  1072MB  primary  ext2         lba

Pour mémoire, 2 autres modes de préallocation sont possibles, falloc et full qui créent des fichiers dont l'occupation disque est égale à la taille apparente, ce qui fait perdre de l'intérêt au format qcow2

$ qemu-img create -f qcow2 -o ? |grep preallocation
  preallocation=<str>    - Preallocation mode (allowed values: off, metadata, falloc, full)

1.3 - Bilan

Un fichier vierge au format qcow2 créé sans préallocation des métadonnées

$ qemu-img create -f qcow2 disk.qcow2 1G

est utilisable directement par qemu, mais il n'est pas interprété comme fichier image par

les utilitaires fichiers tels que ls, du, cat, dd

les utilitaires disques, tels que parted, fdisk, partx

L''option de préallocation des métadonnées doit-être utilisée

$ qemu-img create -f qcow2 -o size=1G,preallocation=metadata disk.qcow2

2 - Formatage et montage

A ce stade, le disque et ses partitions ne sont pas reconnus comme périphériques blocs

$ lsblk disk2.qcow2 
lsblk: disk2 : n'est pas un périphérique bloc

Une étape supplémentaire est nécessaire. On utilise un serveur nbd (Qemu Network Block Device), pour associer à chaque partition une boucle de périphérique bloc
Référence : https://www.jamescoyle.net/tag/qemu-nbd

2.1 - Installation du serveur nbd

Insérer le module nbd

$ sudo modinfo -d nbd
Network Block Device

$ sudo modprobe -av nbd

Vérifier la création de nœuds /dev/nbd (8 dans l'exemple ci-dessous)

$ ls /dev/nbd*
/dev/nbd0  /dev/nbd1p1  /dev/nbd2  /dev/nbd4  /dev/nbd6
/dev/nbd1  /dev/nbd1p2  /dev/nbd3  /dev/nbd5  /dev/nbd7

Au départ, tous les noeuds sont disponibles et n'apparaissent pas dans lsblk)

$ lsblk -f /dev/nbd?
NAME     FSTYPE FSVER LABEL UUID FSAVAIL FSUSE% MOUNTPOINT

2.2 - Utilisation

Sélectionner un nœud disponible, et le connecter au disque, vérifier que le périphérique et ses partitions sont alors reconnus par lsblk

$ sudo qemu-nbd -c /dev/nbd0 disk2.qcow2             # option -c ou --connect

$ lsblk -f /dev/nbd?
NAME     FSTYPE FSVER LABEL UUID FSAVAIL FSUSE% MOUNTPOINT
nbd0                                            
└─nbd0p1

Il est alors possible, par exemple de formater et monter la partition

$ sudo mkfs.ext4 -L nbd0p1 /dev/nbd0p1

$ sudo mount /dev/nbd0p1 /mnt

$ lsblk /dev/nbd0 -o name,label,fstype,size,mountpoint
NAME     LABEL  FSTYPE  SIZE MOUNTPOINT
nbd0                      1G 
└─nbd0p1 nbd0p1 ext4   1022M /mnt

2.3 - Dissociation

Après démontage, dissocier les nœuds (et éventuellement décharger le module)

$ sudo qemu-nbd --disconnect /dev/nbd0                      # option -d ou --disconnect     

$ sudo modprobe -rv nbd

3 - Opérations diverses

3.1 - Réduction taille fichier

L'occupation disque des fichiers qcwo2 pouvant augmenter à l'occasion des manipulations du fichier, recopie, ... il peut-être intéressant de relancer une compression du fichier pour réduire la taille réelle du fichier

Exemple : Fichier de départ 5,6G

$ du -h --apparent-size disk.qcow2 
5,6G  disk.qcow2

Fichier après réduction 2G

$ qemu-img convert -f qcow2 -O qcow2 -c disk.qcow2 disk_compress.qcow2 -p

$ du -h --apparent-size disk_compress.qcow2 
2,0G        demo3.qcow2

Signification des options :

-f format de départ
-O format de sortie
-c compression
-p progress

3.2 - Conversion entre format brut et qcow2

Conversion qcwo2 vers raw

$ qemu-img convert -f qcow2 -O raw demo.qcow2 demo.raw -p

$ du -h --apparent-size demo.raw
20G     demo.raw

Conversion raw vers qcwo2

$ qemu-img convert -f raw -O qcow2 demo.raw demo2.qcow2 -p

$ du -h --apparent-size demo2.qcow2 
5,3G       demo2.qcow2

Conversion raw vers qcow2 avec compression simultanée (plus lent)

$ qemu-img convert -f raw -O qcow2 -c demo.raw demo3.qcow2 -p -c

$ du -h --apparent-size demo3.qcow2 
2,0G    demo3.qcow2