diff options
Diffstat (limited to 'asm/out.S')
| -rw-r--r-- | asm/out.S | 1491 |
1 files changed, 1310 insertions, 181 deletions
@@ -1,5 +1,5 @@ # This file is generated by asm.py. Don't edit this file directly. -blake3_sse2_kernel2d_1: +blake3_sse2_kernel_2d_1: paddd xmm0, xmm4 paddd xmm0, xmm1 pxor xmm3, xmm0 @@ -531,7 +531,7 @@ blake3_sse2_compress: pshufd xmm6, xmm6, 0x93 shufps xmm8, xmm7, 221 pshufd xmm7, xmm8, 0x93 - call blake3_sse2_kernel2d_1 + call blake3_sse2_kernel_2d_1 movups xmmword ptr [rdi], xmm0 movups xmmword ptr [rdi+0x10], xmm1 ret @@ -559,7 +559,7 @@ blake3_sse2_xof_stream_1: pshufd xmm6, xmm6, 0x93 shufps xmm8, xmm7, 221 pshufd xmm7, xmm8, 0x93 - call blake3_sse2_kernel2d_1 + call blake3_sse2_kernel_2d_1 movdqu xmm4, xmmword ptr [rdi] movdqu xmm5, xmmword ptr [rdi+0x10] pxor xmm2, xmm4 @@ -593,7 +593,7 @@ blake3_sse2_xof_xor_1: pshufd xmm6, xmm6, 0x93 shufps xmm8, xmm7, 221 pshufd xmm7, xmm8, 0x93 - call blake3_sse2_kernel2d_1 + call blake3_sse2_kernel_2d_1 movdqu xmm4, xmmword ptr [rdi] movdqu xmm5, xmmword ptr [rdi+0x10] pxor xmm2, xmm4 @@ -620,7 +620,7 @@ PBLENDW_0x3F_MASK: .long 0xFFFFFFFF, 0xFFFFFFFF, 0xFFFFFFFF, 0x00000000 PBLENDW_0xC0_MASK: .long 0x00000000, 0x00000000, 0x00000000, 0xFFFFFFFF -blake3_sse41_kernel2d_1: +blake3_sse41_kernel_2d_1: movaps xmm14, xmmword ptr [ROT8+rip] movaps xmm15, xmmword ptr [ROT16+rip] paddd xmm0, xmm4 @@ -1068,7 +1068,7 @@ blake3_sse41_compress: pshufd xmm6, xmm6, 0x93 shufps xmm8, xmm7, 221 pshufd xmm7, xmm8, 0x93 - call blake3_sse41_kernel2d_1 + call blake3_sse41_kernel_2d_1 movups xmmword ptr [rdi], xmm0 movups xmmword ptr [rdi+0x10], xmm1 ret @@ -1096,7 +1096,7 @@ blake3_sse41_xof_stream_1: pshufd xmm6, xmm6, 0x93 shufps xmm8, xmm7, 221 pshufd xmm7, xmm8, 0x93 - call blake3_sse41_kernel2d_1 + call blake3_sse41_kernel_2d_1 movdqu xmm4, xmmword ptr [rdi] movdqu xmm5, xmmword ptr [rdi+0x10] pxor xmm2, xmm4 @@ -1130,7 +1130,7 @@ blake3_sse41_xof_xor_1: pshufd xmm6, xmm6, 0x93 shufps xmm8, xmm7, 221 pshufd xmm7, xmm8, 0x93 - call blake3_sse41_kernel2d_1 + call blake3_sse41_kernel_2d_1 movdqu xmm4, xmmword ptr [rdi] movdqu xmm5, xmmword ptr [rdi+0x10] pxor xmm2, xmm4 @@ -1148,7 +1148,7 @@ blake3_sse41_xof_xor_1: movups xmmword ptr [r9+0x20], xmm2 movups xmmword ptr [r9+0x30], xmm3 ret -blake3_avx2_kernel2d_2: +blake3_avx2_kernel_2d_2: vbroadcasti128 ymm14, xmmword ptr [ROT16+rip] vbroadcasti128 ymm15, xmmword ptr [ROT8+rip] vpaddd ymm0, ymm0, ymm4 @@ -1549,7 +1549,7 @@ blake3_avx2_xof_stream_2: vshufps ymm7, ymm8, ymm9, 221 vpshufd ymm6, ymm6, 0x93 vpshufd ymm7, ymm7, 0x93 - call blake3_avx2_kernel2d_2 + call blake3_avx2_kernel_2d_2 vbroadcasti128 ymm4, xmmword ptr [rdi] vpxor ymm2, ymm2, ymm4 vbroadcasti128 ymm5, xmmword ptr [rdi + 16] @@ -1586,7 +1586,7 @@ blake3_avx2_xof_xor_2: vshufps ymm7, ymm8, ymm9, 221 vpshufd ymm6, ymm6, 0x93 vpshufd ymm7, ymm7, 0x93 - call blake3_avx2_kernel2d_2 + call blake3_avx2_kernel_2d_2 vbroadcasti128 ymm4, xmmword ptr [rdi] vpxor ymm2, ymm2, ymm4 vbroadcasti128 ymm5, xmmword ptr [rdi + 16] @@ -1604,7 +1604,7 @@ blake3_avx2_xof_xor_2: vmovdqu ymmword ptr [r9 + 2 * 32], ymm6 vmovdqu ymmword ptr [r9 + 3 * 32], ymm7 ret -blake3_avx512_kernel2d_1: +blake3_avx512_kernel_2d_1: vpaddd xmm0, xmm0, xmm4 vpaddd xmm0, xmm0, xmm1 vpxord xmm3, xmm3, xmm0 @@ -1924,7 +1924,94 @@ blake3_avx512_kernel2d_1: vpxord xmm0, xmm0, xmm2 vpxord xmm1, xmm1, xmm3 ret -blake3_avx512_kernel2d_2: +.global blake3_avx512_compress +blake3_avx512_compress: + vmovdqu xmm0, xmmword ptr [rdi] + vmovdqu xmm1, xmmword ptr [rdi+0x10] + shl r8, 32 + mov ecx, ecx + or rcx, r8 + vmovq xmm3, rdx + vmovq xmm4, rcx + vpunpcklqdq xmm3, xmm3, xmm4 + vmovaps xmm2, xmmword ptr [BLAKE3_IV+rip] + vmovups xmm8, xmmword ptr [rsi] + vmovups xmm9, xmmword ptr [rsi+0x10] + vshufps xmm4, xmm8, xmm9, 136 + vshufps xmm5, xmm8, xmm9, 221 + vmovups xmm8, xmmword ptr [rsi+0x20] + vmovups xmm9, xmmword ptr [rsi+0x30] + vshufps xmm6, xmm8, xmm9, 136 + vshufps xmm7, xmm8, xmm9, 221 + vpshufd xmm6, xmm6, 0x93 + vpshufd xmm7, xmm7, 0x93 + call blake3_avx512_kernel_2d_1 + vmovdqu xmmword ptr [rdi], xmm0 + vmovdqu xmmword ptr [rdi+0x10], xmm1 + ret +.global blake3_avx512_xof_stream_1 +blake3_avx512_xof_stream_1: + vmovdqu xmm0, xmmword ptr [rdi] + vmovdqu xmm1, xmmword ptr [rdi+0x10] + shl r8, 32 + mov ecx, ecx + or rcx, r8 + vmovq xmm3, rdx + vmovq xmm4, rcx + vpunpcklqdq xmm3, xmm3, xmm4 + vmovaps xmm2, xmmword ptr [BLAKE3_IV+rip] + vmovups xmm8, xmmword ptr [rsi] + vmovups xmm9, xmmword ptr [rsi+0x10] + vshufps xmm4, xmm8, xmm9, 136 + vshufps xmm5, xmm8, xmm9, 221 + vmovups xmm8, xmmword ptr [rsi+0x20] + vmovups xmm9, xmmword ptr [rsi+0x30] + vshufps xmm6, xmm8, xmm9, 136 + vshufps xmm7, xmm8, xmm9, 221 + vpshufd xmm6, xmm6, 0x93 + vpshufd xmm7, xmm7, 0x93 + call blake3_avx512_kernel_2d_1 + vpxor xmm2, xmm2, [rdi] + vpxor xmm3, xmm3, [rdi+0x10] + vmovdqu xmmword ptr [r9], xmm0 + vmovdqu xmmword ptr [r9+0x10], xmm1 + vmovdqu xmmword ptr [r9+0x20], xmm2 + vmovdqu xmmword ptr [r9+0x30], xmm3 + ret +.global blake3_avx512_xof_xor_1 +blake3_avx512_xof_xor_1: + vmovdqu xmm0, xmmword ptr [rdi] + vmovdqu xmm1, xmmword ptr [rdi+0x10] + shl r8, 32 + mov ecx, ecx + or rcx, r8 + vmovq xmm3, rdx + vmovq xmm4, rcx + vpunpcklqdq xmm3, xmm3, xmm4 + vmovaps xmm2, xmmword ptr [BLAKE3_IV+rip] + vmovups xmm8, xmmword ptr [rsi] + vmovups xmm9, xmmword ptr [rsi+0x10] + vshufps xmm4, xmm8, xmm9, 136 + vshufps xmm5, xmm8, xmm9, 221 + vmovups xmm8, xmmword ptr [rsi+0x20] + vmovups xmm9, xmmword ptr [rsi+0x30] + vshufps xmm6, xmm8, xmm9, 136 + vshufps xmm7, xmm8, xmm9, 221 + vpshufd xmm6, xmm6, 0x93 + vpshufd xmm7, xmm7, 0x93 + call blake3_avx512_kernel_2d_1 + vpxor xmm2, xmm2, [rdi] + vpxor xmm3, xmm3, [rdi+0x10] + vpxor xmm0, xmm0, [r9] + vpxor xmm1, xmm1, [r9+0x10] + vpxor xmm2, xmm2, [r9+0x20] + vpxor xmm3, xmm3, [r9+0x30] + vmovdqu xmmword ptr [r9], xmm0 + vmovdqu xmmword ptr [r9+0x10], xmm1 + vmovdqu xmmword ptr [r9+0x20], xmm2 + vmovdqu xmmword ptr [r9+0x30], xmm3 + ret +blake3_avx512_kernel_2d_2: vpaddd ymm0, ymm0, ymm4 vpaddd ymm0, ymm0, ymm1 vpxord ymm3, ymm3, ymm0 @@ -2244,7 +2331,85 @@ blake3_avx512_kernel2d_2: vpxord ymm0, ymm0, ymm2 vpxord ymm1, ymm1, ymm3 ret -blake3_avx512_kernel2d_4: +.global blake3_avx512_xof_stream_2 +blake3_avx512_xof_stream_2: + vbroadcasti128 ymm0, xmmword ptr [rdi] + vbroadcasti128 ymm1, xmmword ptr [rdi+0x10] + vmovdqa ymm4, ymmword ptr [INCREMENT_2D+rip] + vbroadcasti128 ymm2, xmmword ptr [BLAKE3_IV+rip] + vpbroadcastq ymm5, rdx + vpaddq ymm6, ymm4, ymm5 + shl r8, 32 + mov ecx, ecx + or rcx, r8 + vpbroadcastq ymm7, rcx + vpblendd ymm3, ymm6, ymm7, 0xCC + vbroadcasti128 ymm8, xmmword ptr [rsi] + vbroadcasti128 ymm9, xmmword ptr [rsi+0x10] + vshufps ymm4, ymm8, ymm9, 136 + vshufps ymm5, ymm8, ymm9, 221 + vbroadcasti128 ymm8, xmmword ptr [rsi+0x20] + vbroadcasti128 ymm9, xmmword ptr [rsi+0x30] + vshufps ymm6, ymm8, ymm9, 136 + vshufps ymm7, ymm8, ymm9, 221 + vpshufd ymm6, ymm6, 0x93 + vpshufd ymm7, ymm7, 0x93 + call blake3_avx512_kernel_2d_2 + vbroadcasti128 ymm4, xmmword ptr [rdi] + vpxor ymm2, ymm2, ymm4 + vbroadcasti128 ymm5, xmmword ptr [rdi + 16] + vpxor ymm3, ymm3, ymm5 + vmovdqu xmmword ptr [r9 + 0 * 16], xmm0 + vmovdqu xmmword ptr [r9 + 1 * 16], xmm1 + vmovdqu xmmword ptr [r9 + 2 * 16], xmm2 + vmovdqu xmmword ptr [r9 + 3 * 16], xmm3 + vextracti128 xmmword ptr [r9+4*16], ymm0, 1 + vextracti128 xmmword ptr [r9+5*16], ymm1, 1 + vextracti128 xmmword ptr [r9+6*16], ymm2, 1 + vextracti128 xmmword ptr [r9+7*16], ymm3, 1 + ret +.global blake3_avx512_xof_xor_2 +blake3_avx512_xof_xor_2: + vbroadcasti128 ymm0, xmmword ptr [rdi] + vbroadcasti128 ymm1, xmmword ptr [rdi+0x10] + vmovdqa ymm4, ymmword ptr [INCREMENT_2D+rip] + vbroadcasti128 ymm2, xmmword ptr [BLAKE3_IV+rip] + vpbroadcastq ymm5, rdx + vpaddq ymm6, ymm4, ymm5 + shl r8, 32 + mov ecx, ecx + or rcx, r8 + vpbroadcastq ymm7, rcx + vpblendd ymm3, ymm6, ymm7, 0xCC + vbroadcasti128 ymm8, xmmword ptr [rsi] + vbroadcasti128 ymm9, xmmword ptr [rsi+0x10] + vshufps ymm4, ymm8, ymm9, 136 + vshufps ymm5, ymm8, ymm9, 221 + vbroadcasti128 ymm8, xmmword ptr [rsi+0x20] + vbroadcasti128 ymm9, xmmword ptr [rsi+0x30] + vshufps ymm6, ymm8, ymm9, 136 + vshufps ymm7, ymm8, ymm9, 221 + vpshufd ymm6, ymm6, 0x93 + vpshufd ymm7, ymm7, 0x93 + call blake3_avx512_kernel_2d_2 + vbroadcasti128 ymm4, xmmword ptr [rdi] + vpxor ymm2, ymm2, ymm4 + vbroadcasti128 ymm5, xmmword ptr [rdi + 16] + vpxor ymm3, ymm3, ymm5 + vperm2f128 ymm4, ymm0, ymm1, 32 + vperm2f128 ymm5, ymm2, ymm3, 32 + vperm2f128 ymm6, ymm0, ymm1, 49 + vperm2f128 ymm7, ymm2, ymm3, 49 + vpxor ymm4, ymm4, ymmword ptr [r9 + 0 * 32] + vpxor ymm5, ymm5, ymmword ptr [r9 + 1 * 32] + vpxor ymm6, ymm6, ymmword ptr [r9 + 2 * 32] + vpxor ymm7, ymm7, ymmword ptr [r9 + 3 * 32] + vmovdqu ymmword ptr [r9 + 0 * 32], ymm4 + vmovdqu ymmword ptr [r9 + 1 * 32], ymm5 + vmovdqu ymmword ptr [r9 + 2 * 32], ymm6 + vmovdqu ymmword ptr [r9 + 3 * 32], ymm7 + ret +blake3_avx512_kernel_2d_4: mov eax, 43690 kmovw k3, eax mov eax, 34952 @@ -2568,171 +2733,6 @@ blake3_avx512_kernel2d_4: vpxord zmm0, zmm0, zmm2 vpxord zmm1, zmm1, zmm3 ret -.global blake3_avx512_compress -blake3_avx512_compress: - vmovdqu xmm0, xmmword ptr [rdi] - vmovdqu xmm1, xmmword ptr [rdi+0x10] - shl r8, 32 - mov ecx, ecx - or rcx, r8 - vmovq xmm3, rdx - vmovq xmm4, rcx - vpunpcklqdq xmm3, xmm3, xmm4 - vmovaps xmm2, xmmword ptr [BLAKE3_IV+rip] - vmovups xmm8, xmmword ptr [rsi] - vmovups xmm9, xmmword ptr [rsi+0x10] - vshufps xmm4, xmm8, xmm9, 136 - vshufps xmm5, xmm8, xmm9, 221 - vmovups xmm8, xmmword ptr [rsi+0x20] - vmovups xmm9, xmmword ptr [rsi+0x30] - vshufps xmm6, xmm8, xmm9, 136 - vshufps xmm7, xmm8, xmm9, 221 - vpshufd xmm6, xmm6, 0x93 - vpshufd xmm7, xmm7, 0x93 - call blake3_avx512_kernel2d_1 - vmovdqu xmmword ptr [rdi], xmm0 - vmovdqu xmmword ptr [rdi+0x10], xmm1 - ret -.global blake3_avx512_xof_stream_1 -blake3_avx512_xof_stream_1: - vmovdqu xmm0, xmmword ptr [rdi] - vmovdqu xmm1, xmmword ptr [rdi+0x10] - shl r8, 32 - mov ecx, ecx - or rcx, r8 - vmovq xmm3, rdx - vmovq xmm4, rcx - vpunpcklqdq xmm3, xmm3, xmm4 - vmovaps xmm2, xmmword ptr [BLAKE3_IV+rip] - vmovups xmm8, xmmword ptr [rsi] - vmovups xmm9, xmmword ptr [rsi+0x10] - vshufps xmm4, xmm8, xmm9, 136 - vshufps xmm5, xmm8, xmm9, 221 - vmovups xmm8, xmmword ptr [rsi+0x20] - vmovups xmm9, xmmword ptr [rsi+0x30] - vshufps xmm6, xmm8, xmm9, 136 - vshufps xmm7, xmm8, xmm9, 221 - vpshufd xmm6, xmm6, 0x93 - vpshufd xmm7, xmm7, 0x93 - call blake3_avx512_kernel2d_1 - vpxor xmm2, xmm2, [rdi] - vpxor xmm3, xmm3, [rdi+0x10] - vmovdqu xmmword ptr [r9], xmm0 - vmovdqu xmmword ptr [r9+0x10], xmm1 - vmovdqu xmmword ptr [r9+0x20], xmm2 - vmovdqu xmmword ptr [r9+0x30], xmm3 - ret -.global blake3_avx512_xof_xor_1 -blake3_avx512_xof_xor_1: - vmovdqu xmm0, xmmword ptr [rdi] - vmovdqu xmm1, xmmword ptr [rdi+0x10] - shl r8, 32 - mov ecx, ecx - or rcx, r8 - vmovq xmm3, rdx - vmovq xmm4, rcx - vpunpcklqdq xmm3, xmm3, xmm4 - vmovaps xmm2, xmmword ptr [BLAKE3_IV+rip] - vmovups xmm8, xmmword ptr [rsi] - vmovups xmm9, xmmword ptr [rsi+0x10] - vshufps xmm4, xmm8, xmm9, 136 - vshufps xmm5, xmm8, xmm9, 221 - vmovups xmm8, xmmword ptr [rsi+0x20] - vmovups xmm9, xmmword ptr [rsi+0x30] - vshufps xmm6, xmm8, xmm9, 136 - vshufps xmm7, xmm8, xmm9, 221 - vpshufd xmm6, xmm6, 0x93 - vpshufd xmm7, xmm7, 0x93 - call blake3_avx512_kernel2d_1 - vpxor xmm2, xmm2, [rdi] - vpxor xmm3, xmm3, [rdi+0x10] - vpxor xmm0, xmm0, [r9] - vpxor xmm1, xmm1, [r9+0x10] - vpxor xmm2, xmm2, [r9+0x20] - vpxor xmm3, xmm3, [r9+0x30] - vmovdqu xmmword ptr [r9], xmm0 - vmovdqu xmmword ptr [r9+0x10], xmm1 - vmovdqu xmmword ptr [r9+0x20], xmm2 - vmovdqu xmmword ptr [r9+0x30], xmm3 - ret -.global blake3_avx512_xof_stream_2 -blake3_avx512_xof_stream_2: - vbroadcasti128 ymm0, xmmword ptr [rdi] - vbroadcasti128 ymm1, xmmword ptr [rdi+0x10] - vmovdqa ymm4, ymmword ptr [INCREMENT_2D+rip] - vbroadcasti128 ymm2, xmmword ptr [BLAKE3_IV+rip] - vpbroadcastq ymm5, rdx - vpaddq ymm6, ymm4, ymm5 - shl r8, 32 - mov ecx, ecx - or rcx, r8 - vpbroadcastq ymm7, rcx - vpblendd ymm3, ymm6, ymm7, 0xCC - vbroadcasti128 ymm8, xmmword ptr [rsi] - vbroadcasti128 ymm9, xmmword ptr [rsi+0x10] - vshufps ymm4, ymm8, ymm9, 136 - vshufps ymm5, ymm8, ymm9, 221 - vbroadcasti128 ymm8, xmmword ptr [rsi+0x20] - vbroadcasti128 ymm9, xmmword ptr [rsi+0x30] - vshufps ymm6, ymm8, ymm9, 136 - vshufps ymm7, ymm8, ymm9, 221 - vpshufd ymm6, ymm6, 0x93 - vpshufd ymm7, ymm7, 0x93 - call blake3_avx512_kernel2d_2 - vbroadcasti128 ymm4, xmmword ptr [rdi] - vpxor ymm2, ymm2, ymm4 - vbroadcasti128 ymm5, xmmword ptr [rdi + 16] - vpxor ymm3, ymm3, ymm5 - vmovdqu xmmword ptr [r9 + 0 * 16], xmm0 - vmovdqu xmmword ptr [r9 + 1 * 16], xmm1 - vmovdqu xmmword ptr [r9 + 2 * 16], xmm2 - vmovdqu xmmword ptr [r9 + 3 * 16], xmm3 - vextracti128 xmmword ptr [r9+4*16], ymm0, 1 - vextracti128 xmmword ptr [r9+5*16], ymm1, 1 - vextracti128 xmmword ptr [r9+6*16], ymm2, 1 - vextracti128 xmmword ptr [r9+7*16], ymm3, 1 - ret -.global blake3_avx512_xof_xor_2 -blake3_avx512_xof_xor_2: - vbroadcasti128 ymm0, xmmword ptr [rdi] - vbroadcasti128 ymm1, xmmword ptr [rdi+0x10] - vmovdqa ymm4, ymmword ptr [INCREMENT_2D+rip] - vbroadcasti128 ymm2, xmmword ptr [BLAKE3_IV+rip] - vpbroadcastq ymm5, rdx - vpaddq ymm6, ymm4, ymm5 - shl r8, 32 - mov ecx, ecx - or rcx, r8 - vpbroadcastq ymm7, rcx - vpblendd ymm3, ymm6, ymm7, 0xCC - vbroadcasti128 ymm8, xmmword ptr [rsi] - vbroadcasti128 ymm9, xmmword ptr [rsi+0x10] - vshufps ymm4, ymm8, ymm9, 136 - vshufps ymm5, ymm8, ymm9, 221 - vbroadcasti128 ymm8, xmmword ptr [rsi+0x20] - vbroadcasti128 ymm9, xmmword ptr [rsi+0x30] - vshufps ymm6, ymm8, ymm9, 136 - vshufps ymm7, ymm8, ymm9, 221 - vpshufd ymm6, ymm6, 0x93 - vpshufd ymm7, ymm7, 0x93 - call blake3_avx512_kernel2d_2 - vbroadcasti128 ymm4, xmmword ptr [rdi] - vpxor ymm2, ymm2, ymm4 - vbroadcasti128 ymm5, xmmword ptr [rdi + 16] - vpxor ymm3, ymm3, ymm5 - vperm2f128 ymm4, ymm0, ymm1, 32 - vperm2f128 ymm5, ymm2, ymm3, 32 - vperm2f128 ymm6, ymm0, ymm1, 49 - vperm2f128 ymm7, ymm2, ymm3, 49 - vpxor ymm4, ymm4, ymmword ptr [r9 + 0 * 32] - vpxor ymm5, ymm5, ymmword ptr [r9 + 1 * 32] - vpxor ymm6, ymm6, ymmword ptr [r9 + 2 * 32] - vpxor ymm7, ymm7, ymmword ptr [r9 + 3 * 32] - vmovdqu ymmword ptr [r9 + 0 * 32], ymm4 - vmovdqu ymmword ptr [r9 + 1 * 32], ymm5 - vmovdqu ymmword ptr [r9 + 2 * 32], ymm6 - vmovdqu ymmword ptr [r9 + 3 * 32], ymm7 - ret .global blake3_avx512_xof_stream_4 blake3_avx512_xof_stream_4: vbroadcasti32x4 zmm0, xmmword ptr [rdi] @@ -2758,7 +2758,7 @@ blake3_avx512_xof_stream_4: vshufps zmm7, zmm8, zmm9, 221 vpshufd zmm6, zmm6, 0x93 vpshufd zmm7, zmm7, 0x93 - call blake3_avx512_kernel2d_4 + call blake3_avx512_kernel_2d_4 vbroadcasti32x4 zmm4, xmmword ptr [rdi] vpxord zmm2, zmm2, zmm4 vbroadcasti32x4 zmm5, xmmword ptr [rdi + 16] @@ -2805,7 +2805,7 @@ blake3_avx512_xof_xor_4: vshufps zmm7, zmm8, zmm9, 221 vpshufd zmm6, zmm6, 0x93 vpshufd zmm7, zmm7, 0x93 - call blake3_avx512_kernel2d_4 + call blake3_avx512_kernel_2d_4 vbroadcasti32x4 zmm4, xmmword ptr [rdi] vpxord zmm2, zmm2, zmm4 vbroadcasti32x4 zmm5, xmmword ptr [rdi + 16] @@ -2827,6 +2827,1128 @@ blake3_avx512_xof_xor_4: vmovdqu32 zmmword ptr [r9 + 2*64], zmm2 vmovdqu32 zmmword ptr [r9 + 3*64], zmm3 ret +blake3_avx512_kernel_3d_16: + vpaddd zmm0, zmm0, zmm16 + vpaddd zmm1, zmm1, zmm18 + vpaddd zmm2, zmm2, zmm20 + vpaddd zmm3, zmm3, zmm22 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vprord zmm15, zmm15, 16 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 12 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vpaddd zmm0, zmm0, zmm17 + vpaddd zmm1, zmm1, zmm19 + vpaddd zmm2, zmm2, zmm21 + vpaddd zmm3, zmm3, zmm23 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vprord zmm15, zmm15, 8 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 7 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vpaddd zmm0, zmm0, zmm24 + vpaddd zmm1, zmm1, zmm26 + vpaddd zmm2, zmm2, zmm28 + vpaddd zmm3, zmm3, zmm30 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 16 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vprord zmm4, zmm4, 12 + vpaddd zmm0, zmm0, zmm25 + vpaddd zmm1, zmm1, zmm27 + vpaddd zmm2, zmm2, zmm29 + vpaddd zmm3, zmm3, zmm31 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 8 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vprord zmm4, zmm4, 7 + vpaddd zmm0, zmm0, zmm18 + vpaddd zmm1, zmm1, zmm19 + vpaddd zmm2, zmm2, zmm23 + vpaddd zmm3, zmm3, zmm20 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vprord zmm15, zmm15, 16 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 12 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vpaddd zmm0, zmm0, zmm22 + vpaddd zmm1, zmm1, zmm26 + vpaddd zmm2, zmm2, zmm16 + vpaddd zmm3, zmm3, zmm29 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vprord zmm15, zmm15, 8 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 7 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vpaddd zmm0, zmm0, zmm17 + vpaddd zmm1, zmm1, zmm28 + vpaddd zmm2, zmm2, zmm25 + vpaddd zmm3, zmm3, zmm31 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 16 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vprord zmm4, zmm4, 12 + vpaddd zmm0, zmm0, zmm27 + vpaddd zmm1, zmm1, zmm21 + vpaddd zmm2, zmm2, zmm30 + vpaddd zmm3, zmm3, zmm24 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 8 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vprord zmm4, zmm4, 7 + vpaddd zmm0, zmm0, zmm19 + vpaddd zmm1, zmm1, zmm26 + vpaddd zmm2, zmm2, zmm29 + vpaddd zmm3, zmm3, zmm23 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vprord zmm15, zmm15, 16 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 12 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vpaddd zmm0, zmm0, zmm20 + vpaddd zmm1, zmm1, zmm28 + vpaddd zmm2, zmm2, zmm18 + vpaddd zmm3, zmm3, zmm30 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vprord zmm15, zmm15, 8 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 7 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vpaddd zmm0, zmm0, zmm22 + vpaddd zmm1, zmm1, zmm25 + vpaddd zmm2, zmm2, zmm27 + vpaddd zmm3, zmm3, zmm24 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 16 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vprord zmm4, zmm4, 12 + vpaddd zmm0, zmm0, zmm21 + vpaddd zmm1, zmm1, zmm16 + vpaddd zmm2, zmm2, zmm31 + vpaddd zmm3, zmm3, zmm17 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 8 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vprord zmm4, zmm4, 7 + vpaddd zmm0, zmm0, zmm26 + vpaddd zmm1, zmm1, zmm28 + vpaddd zmm2, zmm2, zmm30 + vpaddd zmm3, zmm3, zmm29 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vprord zmm15, zmm15, 16 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 12 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vpaddd zmm0, zmm0, zmm23 + vpaddd zmm1, zmm1, zmm25 + vpaddd zmm2, zmm2, zmm19 + vpaddd zmm3, zmm3, zmm31 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vprord zmm15, zmm15, 8 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 7 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vpaddd zmm0, zmm0, zmm20 + vpaddd zmm1, zmm1, zmm27 + vpaddd zmm2, zmm2, zmm21 + vpaddd zmm3, zmm3, zmm17 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 16 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vprord zmm4, zmm4, 12 + vpaddd zmm0, zmm0, zmm16 + vpaddd zmm1, zmm1, zmm18 + vpaddd zmm2, zmm2, zmm24 + vpaddd zmm3, zmm3, zmm22 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 8 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vprord zmm4, zmm4, 7 + vpaddd zmm0, zmm0, zmm28 + vpaddd zmm1, zmm1, zmm25 + vpaddd zmm2, zmm2, zmm31 + vpaddd zmm3, zmm3, zmm30 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vprord zmm15, zmm15, 16 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 12 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vpaddd zmm0, zmm0, zmm29 + vpaddd zmm1, zmm1, zmm27 + vpaddd zmm2, zmm2, zmm26 + vpaddd zmm3, zmm3, zmm24 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vprord zmm15, zmm15, 8 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 7 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vpaddd zmm0, zmm0, zmm23 + vpaddd zmm1, zmm1, zmm21 + vpaddd zmm2, zmm2, zmm16 + vpaddd zmm3, zmm3, zmm22 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 16 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vprord zmm4, zmm4, 12 + vpaddd zmm0, zmm0, zmm18 + vpaddd zmm1, zmm1, zmm19 + vpaddd zmm2, zmm2, zmm17 + vpaddd zmm3, zmm3, zmm20 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 8 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vprord zmm4, zmm4, 7 + vpaddd zmm0, zmm0, zmm25 + vpaddd zmm1, zmm1, zmm27 + vpaddd zmm2, zmm2, zmm24 + vpaddd zmm3, zmm3, zmm31 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vprord zmm15, zmm15, 16 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 12 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vpaddd zmm0, zmm0, zmm30 + vpaddd zmm1, zmm1, zmm21 + vpaddd zmm2, zmm2, zmm28 + vpaddd zmm3, zmm3, zmm17 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vprord zmm15, zmm15, 8 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 7 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vpaddd zmm0, zmm0, zmm29 + vpaddd zmm1, zmm1, zmm16 + vpaddd zmm2, zmm2, zmm18 + vpaddd zmm3, zmm3, zmm20 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 16 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vprord zmm4, zmm4, 12 + vpaddd zmm0, zmm0, zmm19 + vpaddd zmm1, zmm1, zmm26 + vpaddd zmm2, zmm2, zmm22 + vpaddd zmm3, zmm3, zmm23 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 8 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vprord zmm4, zmm4, 7 + vpaddd zmm0, zmm0, zmm27 + vpaddd zmm1, zmm1, zmm21 + vpaddd zmm2, zmm2, zmm17 + vpaddd zmm3, zmm3, zmm24 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vprord zmm15, zmm15, 16 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 12 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vpaddd zmm0, zmm0, zmm31 + vpaddd zmm1, zmm1, zmm16 + vpaddd zmm2, zmm2, zmm25 + vpaddd zmm3, zmm3, zmm22 + vpaddd zmm0, zmm0, zmm4 + vpaddd zmm1, zmm1, zmm5 + vpaddd zmm2, zmm2, zmm6 + vpaddd zmm3, zmm3, zmm7 + vpxord zmm12, zmm12, zmm0 + vpxord zmm13, zmm13, zmm1 + vpxord zmm14, zmm14, zmm2 + vpxord zmm15, zmm15, zmm3 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vprord zmm15, zmm15, 8 + vpaddd zmm8, zmm8, zmm12 + vpaddd zmm9, zmm9, zmm13 + vpaddd zmm10, zmm10, zmm14 + vpaddd zmm11, zmm11, zmm15 + vpxord zmm4, zmm4, zmm8 + vpxord zmm5, zmm5, zmm9 + vpxord zmm6, zmm6, zmm10 + vpxord zmm7, zmm7, zmm11 + vprord zmm4, zmm4, 7 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vpaddd zmm0, zmm0, zmm30 + vpaddd zmm1, zmm1, zmm18 + vpaddd zmm2, zmm2, zmm19 + vpaddd zmm3, zmm3, zmm23 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 16 + vprord zmm12, zmm12, 16 + vprord zmm13, zmm13, 16 + vprord zmm14, zmm14, 16 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 12 + vprord zmm6, zmm6, 12 + vprord zmm7, zmm7, 12 + vprord zmm4, zmm4, 12 + vpaddd zmm0, zmm0, zmm26 + vpaddd zmm1, zmm1, zmm28 + vpaddd zmm2, zmm2, zmm20 + vpaddd zmm3, zmm3, zmm29 + vpaddd zmm0, zmm0, zmm5 + vpaddd zmm1, zmm1, zmm6 + vpaddd zmm2, zmm2, zmm7 + vpaddd zmm3, zmm3, zmm4 + vpxord zmm15, zmm15, zmm0 + vpxord zmm12, zmm12, zmm1 + vpxord zmm13, zmm13, zmm2 + vpxord zmm14, zmm14, zmm3 + vprord zmm15, zmm15, 8 + vprord zmm12, zmm12, 8 + vprord zmm13, zmm13, 8 + vprord zmm14, zmm14, 8 + vpaddd zmm10, zmm10, zmm15 + vpaddd zmm11, zmm11, zmm12 + vpaddd zmm8, zmm8, zmm13 + vpaddd zmm9, zmm9, zmm14 + vpxord zmm5, zmm5, zmm10 + vpxord zmm6, zmm6, zmm11 + vpxord zmm7, zmm7, zmm8 + vpxord zmm4, zmm4, zmm9 + vprord zmm5, zmm5, 7 + vprord zmm6, zmm6, 7 + vprord zmm7, zmm7, 7 + vprord zmm4, zmm4, 7 + vpxord zmm0, zmm0, zmm8 + vpxord zmm1, zmm1, zmm9 + vpxord zmm2, zmm2, zmm10 + vpxord zmm3, zmm3, zmm11 + vpxord zmm4, zmm4, zmm12 + vpxord zmm5, zmm5, zmm13 + vpxord zmm6, zmm6, zmm14 + vpxord zmm7, zmm7, zmm15 + ret +.global blake3_avx512_xof_stream_16 +blake3_avx512_xof_stream_16: + vmovdqa32 zmm12, zmmword ptr [rip + EVEN_INDEXES] + vmovdqa32 zmm13, zmmword ptr [rip + ODD_INDEXES] + vpbroadcastd zmm0, dword ptr [rdi+0] + vpbroadcastd zmm1, dword ptr [rdi+4] + vpbroadcastd zmm2, dword ptr [rdi+8] + vpbroadcastd zmm3, dword ptr [rdi+12] + vpbroadcastd zmm4, dword ptr [rdi+16] + vpbroadcastd zmm5, dword ptr [rdi+20] + vpbroadcastd zmm6, dword ptr [rdi+24] + vpbroadcastd zmm7, dword ptr [rdi+28] + vpbroadcastd zmm16, dword ptr [rsi+0] + vpbroadcastd zmm17, dword ptr [rsi+4] + vpbroadcastd zmm18, dword ptr [rsi+8] + vpbroadcastd zmm19, dword ptr [rsi+12] + vpbroadcastd zmm20, dword ptr [rsi+16] + vpbroadcastd zmm21, dword ptr [rsi+20] + vpbroadcastd zmm22, dword ptr [rsi+24] + vpbroadcastd zmm23, dword ptr [rsi+28] + vpbroadcastd zmm24, dword ptr [rsi+32] + vpbroadcastd zmm25, dword ptr [rsi+36] + vpbroadcastd zmm26, dword ptr [rsi+40] + vpbroadcastd zmm27, dword ptr [rsi+44] + vpbroadcastd zmm28, dword ptr [rsi+48] + vpbroadcastd zmm29, dword ptr [rsi+52] + vpbroadcastd zmm30, dword ptr [rsi+56] + vpbroadcastd zmm31, dword ptr [rsi+60] + vmovdqa64 zmm8, zmmword ptr [INCREMENT_3D+rip] + vpbroadcastq zmm9, rdx + vpaddq zmm9, zmm9, zmm8 + add rdx, 8 + vpbroadcastq zmm10, rdx + vpaddq zmm10, zmm10, zmm8 + vpermi2d zmm12, zmm9, zmm10 + vpermi2d zmm13, zmm9, zmm10 + vpbroadcastd zmm14, ecx + vpbroadcastd zmm15, r8d + vpbroadcastd zmm8, dword ptr [BLAKE3_IV+rip+0] + vpbroadcastd zmm9, dword ptr [BLAKE3_IV+rip+4] + vpbroadcastd zmm10, dword ptr [BLAKE3_IV+rip+8] + vpbroadcastd zmm11, dword ptr [BLAKE3_IV+rip+12] + call blake3_avx512_kernel_3d_16 + vpbroadcastd zmm16, dword ptr [rdi + 0 * 4] + vpxord zmm8, zmm8, zmm16 + vpbroadcastd zmm17, dword ptr [rdi + 1 * 4] + vpxord zmm9, zmm9, zmm17 + vpbroadcastd zmm18, dword ptr [rdi + 2 * 4] + vpxord zmm10, zmm10, zmm18 + vpbroadcastd zmm19, dword ptr [rdi + 3 * 4] + vpxord zmm11, zmm11, zmm19 + vpbroadcastd zmm20, dword ptr [rdi + 4 * 4] + vpxord zmm12, zmm12, zmm20 + vpbroadcastd zmm21, dword ptr [rdi + 5 * 4] + vpxord zmm13, zmm13, zmm21 + vpbroadcastd zmm22, dword ptr [rdi + 6 * 4] + vpxord zmm14, zmm14, zmm22 + vpbroadcastd zmm23, dword ptr [rdi + 7 * 4] + vpxord zmm15, zmm15, zmm23 + vpunpckldq zmm16, zmm0, zmm1 + vpunpckhdq zmm17, zmm0, zmm1 + vpunpckldq zmm18, zmm2, zmm3 + vpunpckhdq zmm19, zmm2, zmm3 + vpunpcklqdq zmm0, zmm16, zmm18 + vmovdqu32 xmmword ptr [r9 + 0 * 16], xmm0 + vextracti32x4 xmmword ptr [r9 + 16 * 16], zmm0, 1 + vextracti32x4 xmmword ptr [r9 + 32 * 16], zmm0, 2 + vextracti32x4 xmmword ptr [r9 + 48 * 16], zmm0, 3 + vpunpckhqdq zmm1, zmm16, zmm18 + vmovdqu32 xmmword ptr [r9 + 4 * 16], xmm1 + vextracti32x4 xmmword ptr [r9 + 20 * 16], zmm1, 1 + vextracti32x4 xmmword ptr [r9 + 36 * 16], zmm1, 2 + vextracti32x4 xmmword ptr [r9 + 52 * 16], zmm1, 3 + vpunpcklqdq zmm2, zmm17, zmm19 + vmovdqu32 xmmword ptr [r9 + 8 * 16], xmm2 + vextracti32x4 xmmword ptr [r9 + 24 * 16], zmm2, 1 + vextracti32x4 xmmword ptr [r9 + 40 * 16], zmm2, 2 + vextracti32x4 xmmword ptr [r9 + 56 * 16], zmm2, 3 + vpunpckhqdq zmm3, zmm17, zmm19 + vmovdqu32 xmmword ptr [r9 + 12 * 16], xmm3 + vextracti32x4 xmmword ptr [r9 + 28 * 16], zmm3, 1 + vextracti32x4 xmmword ptr [r9 + 44 * 16], zmm3, 2 + vextracti32x4 xmmword ptr [r9 + 60 * 16], zmm3, 3 + vpunpckldq zmm20, zmm4, zmm5 + vpunpckhdq zmm21, zmm4, zmm5 + vpunpckldq zmm22, zmm6, zmm7 + vpunpckhdq zmm23, zmm6, zmm7 + vpunpcklqdq zmm4, zmm20, zmm22 + vmovdqu32 xmmword ptr [r9 + 1 * 16], xmm4 + vextracti32x4 xmmword ptr [r9 + 17 * 16], zmm4, 1 + vextracti32x4 xmmword ptr [r9 + 33 * 16], zmm4, 2 + vextracti32x4 xmmword ptr [r9 + 49 * 16], zmm4, 3 + vpunpckhqdq zmm5, zmm20, zmm22 + vmovdqu32 xmmword ptr [r9 + 5 * 16], xmm5 + vextracti32x4 xmmword ptr [r9 + 21 * 16], zmm5, 1 + vextracti32x4 xmmword ptr [r9 + 37 * 16], zmm5, 2 + vextracti32x4 xmmword ptr [r9 + 53 * 16], zmm5, 3 + vpunpcklqdq zmm6, zmm21, zmm23 + vmovdqu32 xmmword ptr [r9 + 9 * 16], xmm6 + vextracti32x4 xmmword ptr [r9 + 25 * 16], zmm6, 1 + vextracti32x4 xmmword ptr [r9 + 41 * 16], zmm6, 2 + vextracti32x4 xmmword ptr [r9 + 57 * 16], zmm6, 3 + vpunpckhqdq zmm7, zmm21, zmm23 + vmovdqu32 xmmword ptr [r9 + 13 * 16], xmm7 + vextracti32x4 xmmword ptr [r9 + 29 * 16], zmm7, 1 + vextracti32x4 xmmword ptr [r9 + 45 * 16], zmm7, 2 + vextracti32x4 xmmword ptr [r9 + 61 * 16], zmm7, 3 + vpunpckldq zmm24, zmm8, zmm9 + vpunpckhdq zmm25, zmm8, zmm9 + vpunpckldq zmm26, zmm10, zmm11 + vpunpckhdq zmm27, zmm10, zmm11 + vpunpcklqdq zmm8, zmm24, zmm26 + vmovdqu32 xmmword ptr [r9 + 2 * 16], xmm8 + vextracti32x4 xmmword ptr [r9 + 18 * 16], zmm8, 1 + vextracti32x4 xmmword ptr [r9 + 34 * 16], zmm8, 2 + vextracti32x4 xmmword ptr [r9 + 50 * 16], zmm8, 3 + vpunpckhqdq zmm9, zmm24, zmm26 + vmovdqu32 xmmword ptr [r9 + 6 * 16], xmm9 + vextracti32x4 xmmword ptr [r9 + 22 * 16], zmm9, 1 + vextracti32x4 xmmword ptr [r9 + 38 * 16], zmm9, 2 + vextracti32x4 xmmword ptr [r9 + 54 * 16], zmm9, 3 + vpunpcklqdq zmm10, zmm25, zmm27 + vmovdqu32 xmmword ptr [r9 + 10 * 16], xmm10 + vextracti32x4 xmmword ptr [r9 + 26 * 16], zmm10, 1 + vextracti32x4 xmmword ptr [r9 + 42 * 16], zmm10, 2 + vextracti32x4 xmmword ptr [r9 + 58 * 16], zmm10, 3 + vpunpckhqdq zmm11, zmm25, zmm27 + vmovdqu32 xmmword ptr [r9 + 14 * 16], xmm11 + vextracti32x4 xmmword ptr [r9 + 30 * 16], zmm11, 1 + vextracti32x4 xmmword ptr [r9 + 46 * 16], zmm11, 2 + vextracti32x4 xmmword ptr [r9 + 62 * 16], zmm11, 3 + vpunpckldq zmm28, zmm12, zmm13 + vpunpckhdq zmm29, zmm12, zmm13 + vpunpckldq zmm30, zmm14, zmm15 + vpunpckhdq zmm31, zmm14, zmm15 + vpunpcklqdq zmm12, zmm28, zmm30 + vmovdqu32 xmmword ptr [r9 + 3 * 16], xmm12 + vextracti32x4 xmmword ptr [r9 + 19 * 16], zmm12, 1 + vextracti32x4 xmmword ptr [r9 + 35 * 16], zmm12, 2 + vextracti32x4 xmmword ptr [r9 + 51 * 16], zmm12, 3 + vpunpckhqdq zmm13, zmm28, zmm30 + vmovdqu32 xmmword ptr [r9 + 7 * 16], xmm13 + vextracti32x4 xmmword ptr [r9 + 23 * 16], zmm13, 1 + vextracti32x4 xmmword ptr [r9 + 39 * 16], zmm13, 2 + vextracti32x4 xmmword ptr [r9 + 55 * 16], zmm13, 3 + vpunpcklqdq zmm14, zmm29, zmm31 + vmovdqu32 xmmword ptr [r9 + 11 * 16], xmm14 + vextracti32x4 xmmword ptr [r9 + 27 * 16], zmm14, 1 + vextracti32x4 xmmword ptr [r9 + 43 * 16], zmm14, 2 + vextracti32x4 xmmword ptr [r9 + 59 * 16], zmm14, 3 + vpunpckhqdq zmm15, zmm29, zmm31 + vmovdqu32 xmmword ptr [r9 + 15 * 16], xmm15 + vextracti32x4 xmmword ptr [r9 + 31 * 16], zmm15, 1 + vextracti32x4 xmmword ptr [r9 + 47 * 16], zmm15, 2 + vextracti32x4 xmmword ptr [r9 + 63 * 16], zmm15, 3 + ret +.global blake3_avx512_xof_xor_16 +blake3_avx512_xof_xor_16: + vmovdqa32 zmm12, zmmword ptr [rip + EVEN_INDEXES] + vmovdqa32 zmm13, zmmword ptr [rip + ODD_INDEXES] + vpbroadcastd zmm0, dword ptr [rdi+0] + vpbroadcastd zmm1, dword ptr [rdi+4] + vpbroadcastd zmm2, dword ptr [rdi+8] + vpbroadcastd zmm3, dword ptr [rdi+12] + vpbroadcastd zmm4, dword ptr [rdi+16] + vpbroadcastd zmm5, dword ptr [rdi+20] + vpbroadcastd zmm6, dword ptr [rdi+24] + vpbroadcastd zmm7, dword ptr [rdi+28] + vpbroadcastd zmm16, dword ptr [rsi+0] + vpbroadcastd zmm17, dword ptr [rsi+4] + vpbroadcastd zmm18, dword ptr [rsi+8] + vpbroadcastd zmm19, dword ptr [rsi+12] + vpbroadcastd zmm20, dword ptr [rsi+16] + vpbroadcastd zmm21, dword ptr [rsi+20] + vpbroadcastd zmm22, dword ptr [rsi+24] + vpbroadcastd zmm23, dword ptr [rsi+28] + vpbroadcastd zmm24, dword ptr [rsi+32] + vpbroadcastd zmm25, dword ptr [rsi+36] + vpbroadcastd zmm26, dword ptr [rsi+40] + vpbroadcastd zmm27, dword ptr [rsi+44] + vpbroadcastd zmm28, dword ptr [rsi+48] + vpbroadcastd zmm29, dword ptr [rsi+52] + vpbroadcastd zmm30, dword ptr [rsi+56] + vpbroadcastd zmm31, dword ptr [rsi+60] + vmovdqa64 zmm8, zmmword ptr [INCREMENT_3D+rip] + vpbroadcastq zmm9, rdx + vpaddq zmm9, zmm9, zmm8 + add rdx, 8 + vpbroadcastq zmm10, rdx + vpaddq zmm10, zmm10, zmm8 + vpermi2d zmm12, zmm9, zmm10 + vpermi2d zmm13, zmm9, zmm10 + vpbroadcastd zmm14, ecx + vpbroadcastd zmm15, r8d + vpbroadcastd zmm8, dword ptr [BLAKE3_IV+rip+0] + vpbroadcastd zmm9, dword ptr [BLAKE3_IV+rip+4] + vpbroadcastd zmm10, dword ptr [BLAKE3_IV+rip+8] + vpbroadcastd zmm11, dword ptr [BLAKE3_IV+rip+12] + call blake3_avx512_kernel_3d_16 + vpbroadcastd zmm16, dword ptr [rdi + 0 * 4] + vpxord zmm8, zmm8, zmm16 + vpbroadcastd zmm17, dword ptr [rdi + 1 * 4] + vpxord zmm9, zmm9, zmm17 + vpbroadcastd zmm18, dword ptr [rdi + 2 * 4] + vpxord zmm10, zmm10, zmm18 + vpbroadcastd zmm19, dword ptr [rdi + 3 * 4] + vpxord zmm11, zmm11, zmm19 + vpbroadcastd zmm20, dword ptr [rdi + 4 * 4] + vpxord zmm12, zmm12, zmm20 + vpbroadcastd zmm21, dword ptr [rdi + 5 * 4] + vpxord zmm13, zmm13, zmm21 + vpbroadcastd zmm22, dword ptr [rdi + 6 * 4] + vpxord zmm14, zmm14, zmm22 + vpbroadcastd zmm23, dword ptr [rdi + 7 * 4] + vpxord zmm15, zmm15, zmm23 + vpunpckldq zmm16, zmm0, zmm1 + vpunpckhdq zmm17, zmm0, zmm1 + vpunpckldq zmm18, zmm2, zmm3 + vpunpckhdq zmm19, zmm2, zmm3 + vpunpckldq zmm20, zmm4, zmm5 + vpunpckhdq zmm21, zmm4, zmm5 + vpunpckldq zmm22, zmm6, zmm7 + vpunpckhdq zmm23, zmm6, zmm7 + vpunpckldq zmm24, zmm8, zmm9 + vpunpckhdq zmm25, zmm8, zmm9 + vpunpckldq zmm26, zmm10, zmm11 + vpunpckhdq zmm27, zmm10, zmm11 + vpunpckldq zmm28, zmm12, zmm13 + vpunpckhdq zmm29, zmm12, zmm13 + vpunpckldq zmm30, zmm14, zmm15 + vpunpckhdq zmm31, zmm14, zmm15 + vpunpcklqdq zmm0, zmm16, zmm18 + vpunpckhqdq zmm1, zmm16, zmm18 + vpunpcklqdq zmm2, zmm17, zmm19 + vpunpckhqdq zmm3, zmm17, zmm19 + vpunpcklqdq zmm4, zmm20, zmm22 + vpunpckhqdq zmm5, zmm20, zmm22 + vpunpcklqdq zmm6, zmm21, zmm23 + vpunpckhqdq zmm7, zmm21, zmm23 + vpunpcklqdq zmm8, zmm24, zmm26 + vpunpckhqdq zmm9, zmm24, zmm26 + vpunpcklqdq zmm10, zmm25, zmm27 + vpunpckhqdq zmm11, zmm25, zmm27 + vpunpcklqdq zmm12, zmm28, zmm30 + vpunpckhqdq zmm13, zmm28, zmm30 + vpunpcklqdq zmm14, zmm29, zmm31 + vpunpckhqdq zmm15, zmm29, zmm31 + vshufi32x4 zmm16, zmm0, zmm4, 0x88 + vshufi32x4 zmm17, zmm1, zmm5, 0x88 + vshufi32x4 zmm18, zmm2, zmm6, 0x88 + vshufi32x4 zmm19, zmm3, zmm7, 0x88 + vshufi32x4 zmm20, zmm0, zmm4, 0xdd + vshufi32x4 zmm21, zmm1, zmm5, 0xdd + vshufi32x4 zmm22, zmm2, zmm6, 0xdd + vshufi32x4 zmm23, zmm3, zmm7, 0xdd + vshufi32x4 zmm24, zmm8, zmm12, 0x88 + vshufi32x4 zmm25, zmm9, zmm13, 0x88 + vshufi32x4 zmm26, zmm10, zmm14, 0x88 + vshufi32x4 zmm27, zmm11, zmm15, 0x88 + vshufi32x4 zmm28, zmm8, zmm12, 0xdd + vshufi32x4 zmm29, zmm9, zmm13, 0xdd + vshufi32x4 zmm30, zmm10, zmm14, 0xdd + vshufi32x4 zmm31, zmm11, zmm15, 0xdd + vshufi32x4 zmm0, zmm16, zmm24, 0x88 + vshufi32x4 zmm1, zmm17, zmm25, 0x88 + vshufi32x4 zmm2, zmm18, zmm26, 0x88 + vshufi32x4 zmm3, zmm19, zmm27, 0x88 + vshufi32x4 zmm4, zmm20, zmm28, 0x88 + vshufi32x4 zmm5, zmm21, zmm29, 0x88 + vshufi32x4 zmm6, zmm22, zmm30, 0x88 + vshufi32x4 zmm7, zmm23, zmm31, 0x88 + vshufi32x4 zmm8, zmm16, zmm24, 0xdd + vshufi32x4 zmm9, zmm17, zmm25, 0xdd + vshufi32x4 zmm10, zmm18, zmm26, 0xdd + vshufi32x4 zmm11, zmm19, zmm27, 0xdd + vshufi32x4 zmm12, zmm20, zmm28, 0xdd + vshufi32x4 zmm13, zmm21, zmm29, 0xdd + vshufi32x4 zmm14, zmm22, zmm30, 0xdd + vshufi32x4 zmm15, zmm23, zmm31, 0xdd + vmovdqu32 zmm16, zmmword ptr [r9 + 0 * 64] + vpxord zmm0, zmm0, zmm16 + vmovdqu32 zmmword ptr [r9 + 0 * 64], zmm0 + vmovdqu32 zmm17, zmmword ptr [r9 + 1 * 64] + vpxord zmm1, zmm1, zmm17 + vmovdqu32 zmmword ptr [r9 + 1 * 64], zmm1 + vmovdqu32 zmm18, zmmword ptr [r9 + 2 * 64] + vpxord zmm2, zmm2, zmm18 + vmovdqu32 zmmword ptr [r9 + 2 * 64], zmm2 + vmovdqu32 zmm19, zmmword ptr [r9 + 3 * 64] + vpxord zmm3, zmm3, zmm19 + vmovdqu32 zmmword ptr [r9 + 3 * 64], zmm3 + vmovdqu32 zmm20, zmmword ptr [r9 + 4 * 64] + vpxord zmm4, zmm4, zmm20 + vmovdqu32 zmmword ptr [r9 + 4 * 64], zmm4 + vmovdqu32 zmm21, zmmword ptr [r9 + 5 * 64] + vpxord zmm5, zmm5, zmm21 + vmovdqu32 zmmword ptr [r9 + 5 * 64], zmm5 + vmovdqu32 zmm22, zmmword ptr [r9 + 6 * 64] + vpxord zmm6, zmm6, zmm22 + vmovdqu32 zmmword ptr [r9 + 6 * 64], zmm6 + vmovdqu32 zmm23, zmmword ptr [r9 + 7 * 64] + vpxord zmm7, zmm7, zmm23 + vmovdqu32 zmmword ptr [r9 + 7 * 64], zmm7 + vmovdqu32 zmm24, zmmword ptr [r9 + 8 * 64] + vpxord zmm8, zmm8, zmm24 + vmovdqu32 zmmword ptr [r9 + 8 * 64], zmm8 + vmovdqu32 zmm25, zmmword ptr [r9 + 9 * 64] + vpxord zmm9, zmm9, zmm25 + vmovdqu32 zmmword ptr [r9 + 9 * 64], zmm9 + vmovdqu32 zmm26, zmmword ptr [r9 + 10 * 64] + vpxord zmm10, zmm10, zmm26 + vmovdqu32 zmmword ptr [r9 + 10 * 64], zmm10 + vmovdqu32 zmm27, zmmword ptr [r9 + 11 * 64] + vpxord zmm11, zmm11, zmm27 + vmovdqu32 zmmword ptr [r9 + 11 * 64], zmm11 + vmovdqu32 zmm28, zmmword ptr [r9 + 12 * 64] + vpxord zmm12, zmm12, zmm28 + vmovdqu32 zmmword ptr [r9 + 12 * 64], zmm12 + vmovdqu32 zmm29, zmmword ptr [r9 + 13 * 64] + vpxord zmm13, zmm13, zmm29 + vmovdqu32 zmmword ptr [r9 + 13 * 64], zmm13 + vmovdqu32 zmm30, zmmword ptr [r9 + 14 * 64] + vpxord zmm14, zmm14, zmm30 + vmovdqu32 zmmword ptr [r9 + 14 * 64], zmm14 + vmovdqu32 zmm31, zmmword ptr [r9 + 15 * 64] + vpxord zmm15, zmm15, zmm31 + vmovdqu32 zmmword ptr [r9 + 15 * 64], zmm15 + ret .balign 16 BLAKE3_IV: BLAKE3_IV_0: @@ -2845,3 +3967,10 @@ ROT8: .balign 64 INCREMENT_2D: .quad 0, 0, 1, 0, 2, 0, 3, 0 +INCREMENT_3D: +.quad 0, 1, 2, 3, 4, 5, 6, 7 +.balign 64 +EVEN_INDEXES: +.long 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30 +ODD_INDEXES: +.long 1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23, 25, 27, 29, 31 |