172 lines · plain
1; RUN: opt -passes=loop-vectorize -mtriple=arm64-apple-iphoneos -vectorizer-min-trip-count=8 \2; RUN: -enable-epilogue-vectorization=false -S %s | FileCheck --check-prefixes=CHECK,DEFAULT %s3; RUN: opt -passes=loop-vectorize -mtriple=arm64-apple-iphoneos -vectorizer-min-trip-count=8 \4; RUN: -enable-epilogue-vectorization=false -vectorize-memory-check-threshold=1 -S %s | FileCheck --check-prefixes=CHECK,THRESHOLD %s5 6; Tests for loops with large numbers of runtime checks. Check that loops are7; vectorized, if the loop trip counts are large and the impact of the runtime8; checks is very small compared to the expected loop runtimes.9 10 11; The trip count in the loop in this function is too to warrant large runtime checks.12; CHECK-LABEL: define {{.*}} @test_tc_too_small13; CHECK-NOT: vector.memcheck14; CHECK-NOT: vector.body15define void @test_tc_too_small(ptr %ptr.1, ptr %ptr.2, ptr %ptr.3, ptr %ptr.4, i64 %off.1, i64 %off.2) {16entry:17 br label %loop18 19loop: ; preds = %bb54, %bb3720 %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop ]21 %gep.1 = getelementptr inbounds i16, ptr %ptr.1, i64 %iv22 %lv.1 = load i16, ptr %gep.1, align 223 %ext.1 = sext i16 %lv.1 to i3224 %gep.2 = getelementptr inbounds i16, ptr %ptr.2, i64 %iv25 %lv.2 = load i16, ptr %gep.2, align 226 %ext.2 = sext i16 %lv.2 to i3227 %gep.off.1 = getelementptr inbounds i16, ptr %gep.2, i64 %off.128 %lv.3 = load i16, ptr %gep.off.1, align 229 %ext.3 = sext i16 %lv.3 to i3230 %gep.off.2 = getelementptr inbounds i16, ptr %gep.2, i64 %off.231 %lv.4 = load i16, ptr %gep.off.2, align 232 %ext.4 = sext i16 %lv.4 to i3233 %tmp62 = mul nsw i32 %ext.2, 1134 %tmp66 = mul nsw i32 %ext.3, -435 %tmp70 = add nsw i32 %tmp62, 436 %tmp71 = add nsw i32 %tmp70, %tmp6637 %tmp72 = add nsw i32 %tmp71, %ext.438 %tmp73 = lshr i32 %tmp72, 339 %tmp74 = add nsw i32 %tmp73, %ext.140 %tmp75 = lshr i32 %tmp74, 141 %tmp76 = mul nsw i32 %ext.2, 542 %tmp77 = shl nsw i32 %ext.3, 243 %tmp78 = add nsw i32 %tmp76, 444 %tmp79 = add nsw i32 %tmp78, %tmp7745 %tmp80 = sub nsw i32 %tmp79, %ext.446 %tmp81 = lshr i32 %tmp80, 347 %tmp82 = sub nsw i32 %tmp81, %ext.148 %tmp83 = lshr i32 %tmp82, 149 %trunc.1 = trunc i32 %tmp75 to i1650 %gep.3 = getelementptr inbounds i16, ptr %ptr.3, i64 %iv51 store i16 %trunc.1, ptr %gep.3, align 252 %trunc.2 = trunc i32 %tmp83 to i1653 %gep.4 = getelementptr inbounds i16, ptr %ptr.4, i64 %iv54 store i16 %trunc.2, ptr %gep.4, align 255 %iv.next = add nuw nsw i64 %iv, 156 %cmp = icmp ult i64 %iv, 1057 br i1 %cmp, label %loop, label %exit58 59exit:60 ret void61}62 63; The trip count in the loop in this function high enough to warrant large runtime checks.64; CHECK-LABEL: define {{.*}} @test_tc_big_enough65; DEFAULT: vector.memcheck66; DEFAULT: vector.body67; THRESHOLD-NOT: vector.memcheck68; THRESHOLD-NOT: vector.body69;70define void @test_tc_big_enough(ptr %ptr.1, ptr %ptr.2, ptr %ptr.3, ptr %ptr.4, i64 %off.1, i64 %off.2) {71entry:72 br label %loop73 74loop: ; preds = %bb54, %bb3775 %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop ]76 %gep.1 = getelementptr inbounds i16, ptr %ptr.1, i64 %iv77 %lv.1 = load i16, ptr %gep.1, align 278 %ext.1 = sext i16 %lv.1 to i3279 %gep.2 = getelementptr inbounds i16, ptr %ptr.2, i64 %iv80 %lv.2 = load i16, ptr %gep.2, align 281 %ext.2 = sext i16 %lv.2 to i3282 %gep.off.1 = getelementptr inbounds i16, ptr %gep.2, i64 %off.183 %lv.3 = load i16, ptr %gep.off.1, align 284 %ext.3 = sext i16 %lv.3 to i3285 %gep.off.2 = getelementptr inbounds i16, ptr %gep.2, i64 %off.286 %lv.4 = load i16, ptr %gep.off.2, align 287 %ext.4 = sext i16 %lv.4 to i3288 %tmp62 = mul nsw i32 %ext.2, 1189 %tmp66 = mul nsw i32 %ext.3, -490 %tmp70 = add nsw i32 %tmp62, 491 %tmp71 = add nsw i32 %tmp70, %tmp6692 %tmp72 = add nsw i32 %tmp71, %ext.493 %tmp73 = lshr i32 %tmp72, 394 %tmp74 = add nsw i32 %tmp73, %ext.195 %tmp75 = lshr i32 %tmp74, 196 %tmp76 = mul nsw i32 %ext.2, 597 %tmp77 = shl nsw i32 %ext.3, 298 %tmp78 = add nsw i32 %tmp76, 499 %tmp79 = add nsw i32 %tmp78, %tmp77100 %tmp80 = sub nsw i32 %tmp79, %ext.4101 %tmp81 = lshr i32 %tmp80, 3102 %tmp82 = sub nsw i32 %tmp81, %ext.1103 %tmp83 = lshr i32 %tmp82, 1104 %trunc.1 = trunc i32 %tmp75 to i16105 %gep.3 = getelementptr inbounds i16, ptr %ptr.3, i64 %iv106 store i16 %trunc.1, ptr %gep.3, align 2107 %trunc.2 = trunc i32 %tmp83 to i16108 %gep.4 = getelementptr inbounds i16, ptr %ptr.4, i64 %iv109 store i16 %trunc.2, ptr %gep.4, align 2110 %iv.next = add nuw nsw i64 %iv, 1111 %cmp = icmp ult i64 %iv, 500112 br i1 %cmp, label %loop, label %exit113 114exit:115 ret void116}117 118define void @test_tc_unknown(ptr %ptr.1, ptr %ptr.2, ptr %ptr.3, ptr %ptr.4, i64 %off.1, i64 %off.2, i64 %N) {119; CHECK-LABEL: define void @test_tc_unknown120; DEFAULT: [[ADD:%.+]] = add i64 %N, 1121; DEFAULT-NEXT: [[C:%.+]] = icmp ult i64 [[ADD]], 16122; DEFAULT-NEXT: br i1 [[C]], label %scalar.ph, label %vector.memcheck123; THRESHOLD-NOT: vector.memcheck124; THRESHOLD-NOT: vector.body125;126entry:127 br label %loop128 129loop: ; preds = %bb54, %bb37130 %iv = phi i64 [ 0, %entry ], [ %iv.next, %loop ]131 %gep.1 = getelementptr inbounds i16, ptr %ptr.1, i64 %iv132 %lv.1 = load i16, ptr %gep.1, align 2133 %ext.1 = sext i16 %lv.1 to i32134 %gep.2 = getelementptr inbounds i16, ptr %ptr.2, i64 %iv135 %lv.2 = load i16, ptr %gep.2, align 2136 %ext.2 = sext i16 %lv.2 to i32137 %gep.off.1 = getelementptr inbounds i16, ptr %gep.2, i64 %off.1138 %lv.3 = load i16, ptr %gep.off.1, align 2139 %ext.3 = sext i16 %lv.3 to i32140 %gep.off.2 = getelementptr inbounds i16, ptr %gep.2, i64 %off.2141 %lv.4 = load i16, ptr %gep.off.2, align 2142 %ext.4 = sext i16 %lv.4 to i32143 %tmp62 = mul nsw i32 %ext.2, 11144 %tmp66 = mul nsw i32 %ext.3, -4145 %tmp70 = add nsw i32 %tmp62, 4146 %tmp71 = add nsw i32 %tmp70, %tmp66147 %tmp72 = add nsw i32 %tmp71, %ext.4148 %tmp73 = lshr i32 %tmp72, 3149 %tmp74 = add nsw i32 %tmp73, %ext.1150 %tmp75 = lshr i32 %tmp74, 1151 %tmp76 = mul nsw i32 %ext.2, 5152 %tmp77 = shl nsw i32 %ext.3, 2153 %tmp78 = add nsw i32 %tmp76, 4154 %tmp79 = add nsw i32 %tmp78, %tmp77155 %tmp80 = sub nsw i32 %tmp79, %ext.4156 %tmp81 = lshr i32 %tmp80, 3157 %tmp82 = sub nsw i32 %tmp81, %ext.1158 %tmp83 = lshr i32 %tmp82, 1159 %trunc.1 = trunc i32 %tmp75 to i16160 %gep.3 = getelementptr inbounds i16, ptr %ptr.3, i64 %iv161 store i16 %trunc.1, ptr %gep.3, align 2162 %trunc.2 = trunc i32 %tmp83 to i16163 %gep.4 = getelementptr inbounds i16, ptr %ptr.4, i64 %iv164 store i16 %trunc.2, ptr %gep.4, align 2165 %iv.next = add nuw nsw i64 %iv, 1166 %cmp = icmp ult i64 %iv, %N167 br i1 %cmp, label %loop, label %exit168 169exit:170 ret void171}172